Baiduspider 是什么:百度搜索爬虫的 UA、反查验证与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Baiduspider 是百度搜索的爬虫,官方说遵守 robots;百度没有说它是否也给文心或百度 AI 搜索用。做中文站一般要放行,但百度不公布 IP,冒充很多,要用反查核验。
| Baiduspider | |
|---|---|
| 归属 | 百度 |
| 服务的产品 | 百度搜索(官方未说明是否用于文心/AI 搜索) |
| 用途类型 | 传统搜索引擎收录 |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
Baiduspider 是谁家的、拿去做什么?#
百度帮助中心的官方说法是「Baiduspider 遵守互联网 robots 协议」【官方】。官方 UA 表里还有 Baiduspider-render/2.0(渲染页面用)和移动端 UA;Baiduspider-cpro、-ads 这两个官方注明不遵守 robots【官方】。
百度没有单独公布文心或 AI 搜索的爬虫,所以「百度 AI 回答里用的网页从哪来」,官方没有可查的爬虫开关【官方】。
本站 57 次请求里,42 次是主 UA,15 次是 -render【实测】。
屏蔽 Baiduspider 会改变什么?#
屏蔽 Baiduspider,等于退出百度搜索【推断】。想「只拒绝百度训练、保留百度搜索」,目前没有官方开关;第三方流传的 ERNIEBot 名字官方 UA 表里没有【官方】。
Baiduspider 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
怎么确认来访的真是 Baiduspider?#
百度不公布 IP 段。官方办法是反查:主机名应为 *.baidu.com 或 *.baidu.jp【官方】,再正向解析确认回到同一个 IP。
robots.txt 怎么放行或屏蔽 Baiduspider?#
# 放行
User-agent: Baiduspider
Allow: /
# 屏蔽
User-agent: Baiduspider
Disallow: /
百度不公布 IP 段,nginx 本身做不了反查,没法在请求进来时实时判断真假【推断】。可行的做法是定期用脚本对日志里自称 Baiduspider 的 IP 做反查,把反查不是 *.baidu.com / *.baidu.jp 的 IP 加进 nginx 的 deny 名单。思路见伪装爬虫页。
本站 15 天里 Baiduspider 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 Baiduspider | 57 次 |
| opengeo.page 主站 / 同机其他站点 | 57 / 0 |
| 最后一次 | 2026-11-07 17:37(北京时间) |
| 完整 IP 时段核验通过 | 7 / 35 |
| 匿名时段(无法核验) | 22 次 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 Baiduspider 的常见误解#
「Baiduspider 的 IP 都在 123.125 / 220.181 这些段。」百度官方不公布 IP 段,网上流传的段只能参考,以反查为准【官方】。
「UA 和官方一字不差就是真的。」本站 28 次冒充用的正是官方 UA 原文【实测】。
常见问题#
Baiduspider 会抓取内容给文心一言训练吗?#
百度官方没有说明。百度公开的爬虫都是 Baiduspider 系,用于百度搜索,没有单独的文心或 AI 训练爬虫,也没有对应的 robots 开关。
怎么确认访问我的是真百度蜘蛛?#
对来访 IP 做反向 DNS,主机名应以 baidu.com 或 baidu.jp 结尾,再对这个主机名做正向解析,结果必须是原来的 IP。百度不公布 IP 段,不能只看 IP。
Baiduspider-render 是什么?#
官方 UA 表里的渲染爬虫,用来加载页面的脚本和样式,看页面渲染后的样子。本站 15 天里它来了 15 次。
为什么我的 bot-access 日志里没有 Baiduspider?#
本站的 bot-access.log 只按一份 AI 爬虫名单记录,名单里没写 Baiduspider,所以 57 次全在主站日志里。这是本站配置的遗漏,不是百度没来。
和 Baiduspider 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- Bytespider:字节跳动
- YisouSpider:神马搜索
- Sogou web spider:搜狗
- 360Spider:360
- PetalBot:华为
- Googlebot:Google
- Applebot:Apple
- Bingbot:Microsoft
- 全部搜索引擎类爬虫与 robots 模板