Bytespider 是什么:字节跳动头条搜索爬虫的 UA、IP 段与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Bytespider 是字节跳动的爬虫,官方文档说它服务头条搜索;外界常说它也给豆包等 AI 提供训练数据,字节没有确认。想被头条搜索收录就放行,但要先按官方 IP 段或反查核验,本站见到的 2 次全是冒充。
| Bytespider | |
|---|---|
| 归属 | 字节跳动 (ByteDance) |
| 服务的产品 | 头条搜索(官方文档);第三方称亦供豆包等 AI 训练,官方未确认 |
| 用途类型 | 传统搜索引擎收录 |
| 是否遵守 robots | 有争议 |
| 依据 | 官方文档 |
Bytespider 是谁家的、拿去做什么?#
字节跳动站长平台把 Bytespider 写成「头条搜索的爬虫 UA」,文档只讲了抓取网页、建索引、提供检索三步,没有提到 AI 训练或豆包【官方】。
第三方(例如 ppc.land 的整理)把它当作 AI 训练爬虫,并报道过它访问被 robots 禁止的路径【推断】。这些说法官方没有确认,本表用途一栏仍按官方写「传统搜索」。
豆包的联网检索到底用哪个爬虫,字节没有公开文档;所以不能说「屏蔽 Bytespider 就等于豆包看不到你」【推断】。
屏蔽 Bytespider 会改变什么?#
官方能确认的影响只有一条:头条搜索抓不到你的页面,头条搜索结果里就不会有新内容【推断】。如果嫌抓得太猛,官方给的办法是站长平台的「抓取频次」设置,说 1 天内生效【官方】,不必直接屏蔽。
官方只发布了 Robots 匹配规则,没有一句明确写「遵守 robots」,所以本表把它记为「有争议」【官方】。
Bytespider 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
- 官方文档:https://zhanzhang.toutiao.com/docs/intro/26899
- 官方 IP 列表:https://zhanzhang.toutiao.com/docs/intro/26899
怎么确认来访的真是 Bytespider?#
官方给了两种办法【官方】:一是看 IP 是否落在公布的 10 个 /24 段(110.249.201、110.249.202、111.225.148、111.225.149、220.243.135、220.243.136、220.243.188、220.243.189、60.8.123、60.8.151);二是 host IP 反查,主机名必须是 *.bytedance.com,官方原话是「非 *.bytedance.com 即为冒充」。
robots.txt 怎么放行或屏蔽 Bytespider?#
# 放行
User-agent: Bytespider
Allow: /
# 屏蔽
User-agent: Bytespider
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "Bytespider") {
return 403;
}
本站 15 天里 Bytespider 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 Bytespider | 2 次 |
| opengeo.page 主站 / 同机其他站点 | 2 / 0 |
| 最后一次 | 2026-11-06 22:20(北京时间) |
| 匿名时段 /24 重合 / 不重合 | 0 / 2 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 Bytespider 的常见误解#
「Bytespider 就是豆包的爬虫。」官方文档只说它是头条搜索爬虫,豆包检索用什么爬虫没有公开【官方】。
「UA 里有 Bytespider 就是字节。」本站 2 次命中都是简化 UA,IP 也不在官方段内【实测】。
常见问题#
Bytespider 是豆包的训练爬虫吗?#
官方没有这么说。字节站长平台只把 Bytespider 写成头条搜索的爬虫,没有提到豆包或 AI 训练。把它归为 AI 训练爬虫的是第三方报道。
怎么判断访问我的 Bytespider 是真的?#
两种办法任选:IP 是否落在官方公布的 10 个 /24 段内;或者对 IP 做反向 DNS,主机名必须以 bytedance.com 结尾,再正向解析回同一个 IP。
Bytespider 抓得太频繁怎么办?#
官方建议在头条搜索站长平台用抓取频次功能设置上限,称 1 天内生效;也可以写信到 zhanzhang@bytedance.com 反馈。
和 Bytespider 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- Baiduspider:百度
- YisouSpider:神马搜索
- Sogou web spider:搜狗
- 360Spider:360
- PetalBot:华为
- Googlebot:Google
- Applebot:Apple
- Bingbot:Microsoft
- 全部搜索引擎类爬虫与 robots 模板