Baiduspider 是什么:百度搜索爬虫的 UA、反查验证与 robots 写法

· 约 6 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Baiduspider 是谁家的、拿去做什么?
  2. 屏蔽 Baiduspider 会改变什么?
  3. Baiduspider 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Baiduspider?
  5. robots.txt 怎么放行或屏蔽 Baiduspider?
  6. 本站 15 天里 Baiduspider 来了几次?
  7. 关于 Baiduspider 的常见误解
  8. 常见问题
    1. Baiduspider 会抓取内容给文心一言训练吗?
    2. 怎么确认访问我的是真百度蜘蛛?
    3. Baiduspider-render 是什么?
    4. 为什么我的 bot-access 日志里没有 Baiduspider?
  9. 和 Baiduspider 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Baiduspider 是百度搜索的爬虫,官方说遵守 robots;百度没有说它是否也给文心或百度 AI 搜索用。做中文站一般要放行,但百度不公布 IP,冒充很多,要用反查核验。

Baiduspider
归属百度
服务的产品百度搜索(官方未说明是否用于文心/AI 搜索)
用途类型传统搜索引擎收录
是否遵守 robots官方说遵守
依据官方文档

Baiduspider 是谁家的、拿去做什么?#

百度帮助中心的官方说法是「Baiduspider 遵守互联网 robots 协议」【官方】。官方 UA 表里还有 Baiduspider-render/2.0(渲染页面用)和移动端 UA;Baiduspider-cpro、-ads 这两个官方注明不遵守 robots【官方】。

百度没有单独公布文心或 AI 搜索的爬虫,所以「百度 AI 回答里用的网页从哪来」,官方没有可查的爬虫开关【官方】。

本站 57 次请求里,42 次是主 UA,15 次是 -render【实测】。

屏蔽 Baiduspider 会改变什么?#

屏蔽 Baiduspider,等于退出百度搜索【推断】。想「只拒绝百度训练、保留百度搜索」,目前没有官方开关;第三方流传的 ERNIEBot 名字官方 UA 表里没有【官方】。

Baiduspider 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

怎么确认来访的真是 Baiduspider?#

百度不公布 IP 段。官方办法是反查:主机名应为 *.baidu.com 或 *.baidu.jp【官方】,再正向解析确认回到同一个 IP。

robots.txt 怎么放行或屏蔽 Baiduspider?#

# 放行
User-agent: Baiduspider
Allow: /
# 屏蔽
User-agent: Baiduspider
Disallow: /

百度不公布 IP 段,nginx 本身做不了反查,没法在请求进来时实时判断真假【推断】。可行的做法是定期用脚本对日志里自称 Baiduspider 的 IP 做反查,把反查不是 *.baidu.com / *.baidu.jp 的 IP 加进 nginx 的 deny 名单。思路见伪装爬虫页。

本站 15 天里 Baiduspider 来了几次?#

2026-10-25 01:00 至 11-08 21:22,北京时间【实测】
自称 Baiduspider57 次
opengeo.page 主站 / 同机其他站点57 / 0
最后一次2026-11-07 17:37(北京时间)
完整 IP 时段核验通过7 / 35
匿名时段(无法核验)22 次

按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。

关于 Baiduspider 的常见误解#

「Baiduspider 的 IP 都在 123.125 / 220.181 这些段。」百度官方不公布 IP 段,网上流传的段只能参考,以反查为准【官方】。

「UA 和官方一字不差就是真的。」本站 28 次冒充用的正是官方 UA 原文【实测】。

常见问题#

Baiduspider 会抓取内容给文心一言训练吗?#

百度官方没有说明。百度公开的爬虫都是 Baiduspider 系,用于百度搜索,没有单独的文心或 AI 训练爬虫,也没有对应的 robots 开关。

怎么确认访问我的是真百度蜘蛛?#

对来访 IP 做反向 DNS,主机名应以 baidu.com 或 baidu.jp 结尾,再对这个主机名做正向解析,结果必须是原来的 IP。百度不公布 IP 段,不能只看 IP。

Baiduspider-render 是什么?#

官方 UA 表里的渲染爬虫,用来加载页面的脚本和样式,看页面渲染后的样子。本站 15 天里它来了 15 次。

为什么我的 bot-access 日志里没有 Baiduspider?#

本站的 bot-access.log 只按一份 AI 爬虫名单记录,名单里没写 Baiduspider,所以 57 次全在主站日志里。这是本站配置的遗漏,不是百度没来。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#