百度的爬虫:只有 Baiduspider 系,文心没有单独公开爬虫
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
一句话结论:百度公开的只有 Baiduspider 一系,官方说遵守 robots;文心一言和百度 AI 回答用的网页从哪来,没有可查的爬虫开关。本站 15 天自称 Baiduspider 的 57 次里,完整 IP 时段核验不通过的有 28 次,比通过的多。
百度有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| Baiduspider | Baiduspider | 搜索引擎 | 官方文档 | 57 |
| ERNIEBot | ERNIEBot | 官方未公开 | 第三方来源 | 0 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。
百度官方公开了什么?#
百度帮助中心说「Baiduspider 遵守互联网 robots 协议」【官方】。官方 UA 表一共 9 个 Baiduspider 系 UA,包括渲染用的 Baiduspider-render/2.0 和移动端 UA;其中 Baiduspider-cpro、-ads 官方注明不遵守 robots。百度不公布 IP 段,核验要靠反查 *.baidu.com 或 *.baidu.jp【官方】。
这 9 个 UA 里没有文心专属的爬虫【官方】;ERNIEBot、YiyanBot 两个名字只出现在第三方目录【推断】。想单独禁止百度拿内容做 AI 训练,目前没有官方开关。本站 57 次里 42 次是主 UA、15 次是 -render【实测】。
- 官方文档(Baiduspider):https://help.baidu.com/question?prod_id=99&class=476&id=2996
- 第三方资料(ERNIEBot):https://traceten.com/crawlers/baidu-erniebot
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| Baiduspider | 官方说遵守 | 未公布 | 57 次中 28 次不通过,22 次无法核验 |
| ERNIEBot | 官方未说明 | 未公布 | 未出现 |
本站 15 天里百度的爬虫来了几次?#
百度的 2 个条目在本站 15 天里合计 57 次,最多的是 Baiduspider(57 次);按官方 IP 段或反查核验,不通过的有 28 次;ERNIEBot 一次都没出现【实测】。
一次放行或屏蔽百度的全部爬虫#
# 屏蔽百度的全部爬虫
User-agent: Baiduspider
User-agent: ERNIEBot
Disallow: /
# 放行百度的全部爬虫
User-agent: Baiduspider
User-agent: ERNIEBot
Allow: /
其中 ERNIEBot 不是官方公布的名字,写进去也可能匹配不到任何请求【推断】。
和百度相关的页面#
百度的爬虫详情#
- Baiduspider:搜索引擎
- ERNIEBot:用途官方未公开