Bytespider 是什么:字节跳动头条搜索爬虫的 UA、IP 段与 robots 写法

· 约 6 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Bytespider 是谁家的、拿去做什么?
  2. 屏蔽 Bytespider 会改变什么?
  3. Bytespider 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Bytespider?
  5. robots.txt 怎么放行或屏蔽 Bytespider?
  6. 本站 15 天里 Bytespider 来了几次?
  7. 关于 Bytespider 的常见误解
  8. 常见问题
    1. Bytespider 是豆包的训练爬虫吗?
    2. 怎么判断访问我的 Bytespider 是真的?
    3. Bytespider 抓得太频繁怎么办?
  9. 和 Bytespider 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Bytespider 是字节跳动的爬虫,官方文档说它服务头条搜索;外界常说它也给豆包等 AI 提供训练数据,字节没有确认。想被头条搜索收录就放行,但要先按官方 IP 段或反查核验,本站见到的 2 次全是冒充。

Bytespider
归属字节跳动 (ByteDance)
服务的产品头条搜索(官方文档);第三方称亦供豆包等 AI 训练,官方未确认
用途类型传统搜索引擎收录
是否遵守 robots有争议
依据官方文档

Bytespider 是谁家的、拿去做什么?#

字节跳动站长平台把 Bytespider 写成「头条搜索的爬虫 UA」,文档只讲了抓取网页、建索引、提供检索三步,没有提到 AI 训练或豆包【官方】。

第三方(例如 ppc.land 的整理)把它当作 AI 训练爬虫,并报道过它访问被 robots 禁止的路径【推断】。这些说法官方没有确认,本表用途一栏仍按官方写「传统搜索」。

豆包的联网检索到底用哪个爬虫,字节没有公开文档;所以不能说「屏蔽 Bytespider 就等于豆包看不到你」【推断】。

屏蔽 Bytespider 会改变什么?#

官方能确认的影响只有一条:头条搜索抓不到你的页面,头条搜索结果里就不会有新内容【推断】。如果嫌抓得太猛,官方给的办法是站长平台的「抓取频次」设置,说 1 天内生效【官方】,不必直接屏蔽。

官方只发布了 Robots 匹配规则,没有一句明确写「遵守 robots」,所以本表把它记为「有争议」【官方】。

Bytespider 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

怎么确认来访的真是 Bytespider?#

官方给了两种办法【官方】:一是看 IP 是否落在公布的 10 个 /24 段(110.249.201、110.249.202、111.225.148、111.225.149、220.243.135、220.243.136、220.243.188、220.243.189、60.8.123、60.8.151);二是 host IP 反查,主机名必须是 *.bytedance.com,官方原话是「非 *.bytedance.com 即为冒充」。

robots.txt 怎么放行或屏蔽 Bytespider?#

# 放行
User-agent: Bytespider
Allow: /
# 屏蔽
User-agent: Bytespider
Disallow: /

服务器层面直接拒绝(nginx,server {} 内):

if ($http_user_agent ~* "Bytespider") {
    return 403;
}

本站 15 天里 Bytespider 来了几次?#

2026-10-25 01:00 至 11-08 21:22,北京时间【实测】
自称 Bytespider2 次
opengeo.page 主站 / 同机其他站点2 / 0
最后一次2026-11-06 22:20(北京时间)
匿名时段 /24 重合 / 不重合0 / 2

按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。

关于 Bytespider 的常见误解#

「Bytespider 就是豆包的爬虫。」官方文档只说它是头条搜索爬虫,豆包检索用什么爬虫没有公开【官方】。

「UA 里有 Bytespider 就是字节。」本站 2 次命中都是简化 UA,IP 也不在官方段内【实测】。

常见问题#

Bytespider 是豆包的训练爬虫吗?#

官方没有这么说。字节站长平台只把 Bytespider 写成头条搜索的爬虫,没有提到豆包或 AI 训练。把它归为 AI 训练爬虫的是第三方报道。

怎么判断访问我的 Bytespider 是真的?#

两种办法任选:IP 是否落在官方公布的 10 个 /24 段内;或者对 IP 做反向 DNS,主机名必须以 bytedance.com 结尾,再正向解析回同一个 IP。

Bytespider 抓得太频繁怎么办?#

官方建议在头条搜索站长平台用抓取频次功能设置上限,称 1 天内生效;也可以写信到 zhanzhang@bytedance.com 反馈。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#