搜索引擎爬虫:Googlebot、Baiduspider 等 9 个与 AI 回答的关系

· 约 6 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 什么算搜索引擎类爬虫?
  2. 9 个搜索引擎类爬虫一览
  3. 本站 15 天里搜索引擎类爬虫来了多少?
  4. 搜索引擎类爬虫的 robots.txt 模板
  5. 和搜索引擎类爬虫相关的页面
    1. 搜索引擎类爬虫详情
    2. 其他用途
    3. 涉及的公司
    4. 其他

一句话结论:搜索引擎爬虫为传统搜索收录网页。它们不是 AI 爬虫,但国内 AI 助手回答时用的网页,多半来自背后的搜索引擎,所以挡掉它们的影响通常比挡 AI 爬虫大。本站 15 天自称这 9 个名字的请求最多,冒充也最多。

什么算搜索引擎类爬虫?#

本表的「搜索引擎」指官方文档写成传统搜索收录的爬虫【官方】。其中两个跨了边界:PetalBot 官方说它的索引也服务华为智慧助手和 AI Search;Applebot 抓的数据也可能用于训练 Apple 的模型,由 Applebot-Extended 控制【官方】。Googlebot 和 Bingbot 的官方页,都没有写 AI Overviews、Copilot 是否用同一份索引【官方】。

豆包、千问、元宝、文心都没有公开 AI 专属爬虫【官方】,它们的联网回答很可能依托搜索引擎的索引(字节的头条搜索、阿里的神马、腾讯的搜狗、百度搜索)【推断】。这也是为什么本表把搜索引擎爬虫一起收进来。

冒充集中在这一类:自称 Googlebot 的 1,610 次里 190 次核验不通过,自称 Baiduspider 的 57 次里 28 次不通过【实测】。

9 个搜索引擎类爬虫一览#

爬虫公司UA 里的名字是否遵守 robots依据本站 15 天访问【实测】
Bytespider字节跳动Bytespider有争议官方文档2
Baiduspider百度Baiduspider官方说遵守官方文档57
YisouSpider神马搜索Yisouspider官方未说明官方文档1
Sogou web spider搜狗Sogou web spider官方说遵守官方文档、第三方来源0
360Spider360360Spider官方说遵守官方文档6
PetalBot华为PetalBot官方说遵守官方文档0
GooglebotGoogleGooglebot官方说遵守官方文档1,610
ApplebotAppleApplebot官方说遵守官方文档38
BingbotMicrosoftbingbot官方说遵守官方文档323

本站 15 天里搜索引擎类爬虫来了多少?#

搜索引擎类合计 2,037 次,最多的是 Googlebot(1,610 次);按官方方法核验不通过 243 次,约占 11.9%。2 个名字一次都没出现:Sogou web spider、PetalBot【实测】。

公司条目本站 15 天访问【实测】核验不通过
字节跳动Bytespider22
百度Baiduspider5728
神马搜索YisouSpider10
搜狗Sogou web spider00
360360Spider60
华为PetalBot00
GoogleGooglebot1,610190
AppleApplebot380
MicrosoftBingbot32323
合计9 个2,037243

日志截至 2026-11-08 21:22(北京时间);访问按 UA 子串计数,含冒充者;核验不通过取自 crawlers-verify.json。

搜索引擎类爬虫的 robots.txt 模板#

# 屏蔽全部搜索引擎类爬虫
User-agent: Bytespider
User-agent: Baiduspider
User-agent: Yisouspider
User-agent: Sogou web spider
User-agent: 360Spider
User-agent: PetalBot
User-agent: Googlebot
User-agent: Applebot
User-agent: bingbot
Disallow: /
# 放行全部搜索引擎类爬虫
User-agent: Bytespider
User-agent: Baiduspider
User-agent: Yisouspider
User-agent: Sogou web spider
User-agent: 360Spider
User-agent: PetalBot
User-agent: Googlebot
User-agent: Applebot
User-agent: bingbot
Allow: /

Sogou web spider 的完整 UA 来自第三方,名字本身官方提到过,规则照常写【推断】。

一般不建议整类屏蔽:挡掉搜索引擎会同时失去搜索收录,以及很可能依托这些索引的国内 AI 回答【推断】。Applebot 没有单独规则时沿用 Googlebot 的规则;Bytespider 嫌抓得太猛,官方给的办法是站长平台的抓取频次设置【官方】。

搜索引擎类爬虫详情#

其他用途#

涉及的公司#

其他#