字节跳动的爬虫:Bytespider 有官方文档,豆包爬虫没有公开
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:字节跳动有官方文档的爬虫只有 Bytespider,官方写的用途是头条搜索;豆包联网时用什么爬虫,字节没有公开。本站 15 天里两个名字都没有真正来过:自称 Bytespider 的 2 次核验不通过,含 doubao 的 UA 为 0。
字节跳动有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| Bytespider | Bytespider | 搜索引擎 | 官方文档 | 2 |
| Doubaobot | Doubaobot | 官方未公开 | 第三方来源 | 0 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。
字节跳动官方公开了什么?#
字节跳动站长平台把 Bytespider 写成「头条搜索的爬虫 UA」,给了 PC、Android、iOS 三种 UA 和 10 个 /24 IP 段,并说反查主机名不是 *.bytedance.com 的就是冒充【官方】。文档只发布了 Robots 匹配规则,没有明确写「遵守 robots」,本表记为有争议。
豆包没有任何爬虫文档【官方】。Doubaobot 这个名字来自第三方目录 traceten.com,它自己也注明字节没有发布过【推断】。OpenGEO 观测 #001 里,豆包引用的来源大量是抖音视频和工商备案类页面【实测】,这些可能来自字节自家数据,不一定需要来抓你的网站【推断】。
- 官方文档(Bytespider):https://zhanzhang.toutiao.com/docs/intro/26899
- IP 列表(Bytespider):https://zhanzhang.toutiao.com/docs/intro/26899
- 第三方资料(Doubaobot):https://traceten.com/crawlers/bytedance-doubaobot
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| Bytespider | 有争议 | 有 | 2 次中 2 次不通过 |
| Doubaobot | 官方未说明 | 未公布 | 未出现 |
本站 15 天里字节跳动的爬虫来了几次?#
字节跳动的 2 个条目在本站 15 天里合计 2 次,最多的是 Bytespider(2 次);按官方 IP 段或反查核验,不通过的有 2 次;Doubaobot 一次都没出现【实测】。
一次放行或屏蔽字节跳动的全部爬虫#
# 屏蔽字节跳动的全部爬虫
User-agent: Bytespider
User-agent: Doubaobot
Disallow: /
# 放行字节跳动的全部爬虫
User-agent: Bytespider
User-agent: Doubaobot
Allow: /
其中 Doubaobot 不是官方公布的名字,写进去也可能匹配不到任何请求【推断】。
和字节跳动相关的页面#
字节跳动的爬虫详情#
- Bytespider:搜索引擎
- Doubaobot:用途官方未公开