字节跳动的爬虫:Bytespider 有官方文档,豆包爬虫没有公开

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 字节跳动有哪些爬虫?
  2. 字节跳动官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里字节跳动的爬虫来了几次?
  5. 一次放行或屏蔽字节跳动的全部爬虫
  6. 和字节跳动相关的页面
    1. 字节跳动的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:字节跳动有官方文档的爬虫只有 Bytespider,官方写的用途是头条搜索;豆包联网时用什么爬虫,字节没有公开。本站 15 天里两个名字都没有真正来过:自称 Bytespider 的 2 次核验不通过,含 doubao 的 UA 为 0。

字节跳动有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
BytespiderBytespider搜索引擎官方文档2
DoubaobotDoubaobot官方未公开第三方来源0

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。

字节跳动官方公开了什么?#

字节跳动站长平台把 Bytespider 写成「头条搜索的爬虫 UA」,给了 PC、Android、iOS 三种 UA 和 10 个 /24 IP 段,并说反查主机名不是 *.bytedance.com 的就是冒充【官方】。文档只发布了 Robots 匹配规则,没有明确写「遵守 robots」,本表记为有争议。

豆包没有任何爬虫文档【官方】。Doubaobot 这个名字来自第三方目录 traceten.com,它自己也注明字节没有发布过【推断】。OpenGEO 观测 #001 里,豆包引用的来源大量是抖音视频和工商备案类页面【实测】,这些可能来自字节自家数据,不一定需要来抓你的网站【推断】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
Bytespider有争议有2 次中 2 次不通过
Doubaobot官方未说明未公布未出现

本站 15 天里字节跳动的爬虫来了几次?#

字节跳动的 2 个条目在本站 15 天里合计 2 次,最多的是 Bytespider(2 次);按官方 IP 段或反查核验,不通过的有 2 次;Doubaobot 一次都没出现【实测】。

一次放行或屏蔽字节跳动的全部爬虫#

# 屏蔽字节跳动的全部爬虫
User-agent: Bytespider
User-agent: Doubaobot
Disallow: /
# 放行字节跳动的全部爬虫
User-agent: Bytespider
User-agent: Doubaobot
Allow: /

其中 Doubaobot 不是官方公布的名字,写进去也可能匹配不到任何请求【推断】。

字节跳动的爬虫详情#

同用途的其他公司爬虫#

其他#