百度的爬虫:只有 Baiduspider 系,文心没有单独公开爬虫

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 百度有哪些爬虫?
  2. 百度官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里百度的爬虫来了几次?
  5. 一次放行或屏蔽百度的全部爬虫
  6. 和百度相关的页面
    1. 百度的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:百度公开的只有 Baiduspider 一系,官方说遵守 robots;文心一言和百度 AI 回答用的网页从哪来,没有可查的爬虫开关。本站 15 天自称 Baiduspider 的 57 次里,完整 IP 时段核验不通过的有 28 次,比通过的多。

百度有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
BaiduspiderBaiduspider搜索引擎官方文档57
ERNIEBotERNIEBot官方未公开第三方来源0

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。

百度官方公开了什么?#

百度帮助中心说「Baiduspider 遵守互联网 robots 协议」【官方】。官方 UA 表一共 9 个 Baiduspider 系 UA,包括渲染用的 Baiduspider-render/2.0 和移动端 UA;其中 Baiduspider-cpro、-ads 官方注明不遵守 robots。百度不公布 IP 段,核验要靠反查 *.baidu.com 或 *.baidu.jp【官方】。

这 9 个 UA 里没有文心专属的爬虫【官方】;ERNIEBot、YiyanBot 两个名字只出现在第三方目录【推断】。想单独禁止百度拿内容做 AI 训练,目前没有官方开关。本站 57 次里 42 次是主 UA、15 次是 -render【实测】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
Baiduspider官方说遵守未公布57 次中 28 次不通过,22 次无法核验
ERNIEBot官方未说明未公布未出现

本站 15 天里百度的爬虫来了几次?#

百度的 2 个条目在本站 15 天里合计 57 次,最多的是 Baiduspider(57 次);按官方 IP 段或反查核验,不通过的有 28 次;ERNIEBot 一次都没出现【实测】。

一次放行或屏蔽百度的全部爬虫#

# 屏蔽百度的全部爬虫
User-agent: Baiduspider
User-agent: ERNIEBot
Disallow: /
# 放行百度的全部爬虫
User-agent: Baiduspider
User-agent: ERNIEBot
Allow: /

其中 ERNIEBot 不是官方公布的名字,写进去也可能匹配不到任何请求【推断】。

百度的爬虫详情#

同用途的其他公司爬虫#

其他#