搜索引擎爬虫:Googlebot、Baiduspider 等 9 个与 AI 回答的关系
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:搜索引擎爬虫为传统搜索收录网页。它们不是 AI 爬虫,但国内 AI 助手回答时用的网页,多半来自背后的搜索引擎,所以挡掉它们的影响通常比挡 AI 爬虫大。本站 15 天自称这 9 个名字的请求最多,冒充也最多。
什么算搜索引擎类爬虫?#
本表的「搜索引擎」指官方文档写成传统搜索收录的爬虫【官方】。其中两个跨了边界:PetalBot 官方说它的索引也服务华为智慧助手和 AI Search;Applebot 抓的数据也可能用于训练 Apple 的模型,由 Applebot-Extended 控制【官方】。Googlebot 和 Bingbot 的官方页,都没有写 AI Overviews、Copilot 是否用同一份索引【官方】。
豆包、千问、元宝、文心都没有公开 AI 专属爬虫【官方】,它们的联网回答很可能依托搜索引擎的索引(字节的头条搜索、阿里的神马、腾讯的搜狗、百度搜索)【推断】。这也是为什么本表把搜索引擎爬虫一起收进来。
冒充集中在这一类:自称 Googlebot 的 1,610 次里 190 次核验不通过,自称 Baiduspider 的 57 次里 28 次不通过【实测】。
9 个搜索引擎类爬虫一览#
| 爬虫 | 公司 | UA 里的名字 | 是否遵守 robots | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|---|
| Bytespider | 字节跳动 | Bytespider | 有争议 | 官方文档 | 2 |
| Baiduspider | 百度 | Baiduspider | 官方说遵守 | 官方文档 | 57 |
| YisouSpider | 神马搜索 | Yisouspider | 官方未说明 | 官方文档 | 1 |
| Sogou web spider | 搜狗 | Sogou web spider | 官方说遵守 | 官方文档、第三方来源 | 0 |
| 360Spider | 360 | 360Spider | 官方说遵守 | 官方文档 | 6 |
| PetalBot | 华为 | PetalBot | 官方说遵守 | 官方文档 | 0 |
| Googlebot | Googlebot | 官方说遵守 | 官方文档 | 1,610 | |
| Applebot | Apple | Applebot | 官方说遵守 | 官方文档 | 38 |
| Bingbot | Microsoft | bingbot | 官方说遵守 | 官方文档 | 323 |
本站 15 天里搜索引擎类爬虫来了多少?#
搜索引擎类合计 2,037 次,最多的是 Googlebot(1,610 次);按官方方法核验不通过 243 次,约占 11.9%。2 个名字一次都没出现:Sogou web spider、PetalBot【实测】。
| 公司 | 条目 | 本站 15 天访问【实测】 | 核验不通过 |
|---|---|---|---|
| 字节跳动 | Bytespider | 2 | 2 |
| 百度 | Baiduspider | 57 | 28 |
| 神马搜索 | YisouSpider | 1 | 0 |
| 搜狗 | Sogou web spider | 0 | 0 |
| 360 | 360Spider | 6 | 0 |
| 华为 | PetalBot | 0 | 0 |
| Googlebot | 1,610 | 190 | |
| Apple | Applebot | 38 | 0 |
| Microsoft | Bingbot | 323 | 23 |
| 合计 | 9 个 | 2,037 | 243 |
日志截至 2026-11-08 21:22(北京时间);访问按 UA 子串计数,含冒充者;核验不通过取自 crawlers-verify.json。
搜索引擎类爬虫的 robots.txt 模板#
# 屏蔽全部搜索引擎类爬虫
User-agent: Bytespider
User-agent: Baiduspider
User-agent: Yisouspider
User-agent: Sogou web spider
User-agent: 360Spider
User-agent: PetalBot
User-agent: Googlebot
User-agent: Applebot
User-agent: bingbot
Disallow: /
# 放行全部搜索引擎类爬虫
User-agent: Bytespider
User-agent: Baiduspider
User-agent: Yisouspider
User-agent: Sogou web spider
User-agent: 360Spider
User-agent: PetalBot
User-agent: Googlebot
User-agent: Applebot
User-agent: bingbot
Allow: /
Sogou web spider 的完整 UA 来自第三方,名字本身官方提到过,规则照常写【推断】。
一般不建议整类屏蔽:挡掉搜索引擎会同时失去搜索收录,以及很可能依托这些索引的国内 AI 回答【推断】。Applebot 没有单独规则时沿用 Googlebot 的规则;Bytespider 嫌抓得太猛,官方给的办法是站长平台的抓取频次设置【官方】。
和搜索引擎类爬虫相关的页面#
搜索引擎类爬虫详情#
- Bytespider:字节跳动
- Baiduspider:百度
- YisouSpider:神马搜索
- Sogou web spider:搜狗
- 360Spider:360
- PetalBot:华为
- Googlebot:Google
- Applebot:Apple
- Bingbot:Microsoft