Google 的 AI 相关爬虫:Googlebot 与 Google-Extended 的分工
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:在 Google 这里,抓网页的只有 Googlebot 等通用爬虫;Google-Extended 没有自己的 UA,只是一个 robots.txt 开关,管 Gemini 能不能拿内容训练和 grounding,官方说不影响搜索收录和排名。
Google 有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| Google-Extended | Google-Extended | 训练 | 官方文档 | — |
| Googlebot | Googlebot | 搜索引擎 | 官方文档 | 1,610 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。Google-Extended 没有自己的 UA,所以记为「—」。
Google 官方公开了什么?#
Google 的爬虫文档把两件事分开写【官方】:Googlebot 等通用爬虫在自动抓取时「总是遵守 robots.txt」,IP 段公布在 common-crawlers.json;Google-Extended 是独立的产品 token,由现有爬虫执行,没有单独的 HTTP 请求,用来控制内容能否用于 Gemini 等模型的训练和 grounding。
官方还说计划在 2027 年初支持 AIPREF 训练偏好信号【官方】。Google 搜索的 AI Overviews 用的也是搜索索引,但 Googlebot 的官方页没有单独写这一点【推断】。
- 官方文档(Google-Extended):https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
- 官方文档(Googlebot):https://developers.google.com/search/docs/crawling-indexing/googlebot
- IP 列表(Googlebot):https://developers.google.com/static/crawling/ipranges/common-crawlers.json
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| Google-Extended | 只是 robots.txt 开关 | 未公布 | 无独立 UA |
| Googlebot | 官方说遵守 | 有 | 1610 次中 190 次不通过 |
本站 15 天里 Google 的爬虫来了几次?#
Google 的 2 个条目在本站 15 天里合计 1,610 次,最多的是 Googlebot(1,610 次);按官方 IP 段或反查核验,不通过的有 190 次【实测】。
一次放行或屏蔽 Google 的全部爬虫#
# 屏蔽 Google 的全部爬虫
User-agent: Google-Extended
User-agent: Googlebot
Disallow: /
# 放行 Google 的全部爬虫
User-agent: Google-Extended
User-agent: Googlebot
Allow: /
只挡训练、其余照常:
User-agent: Google-Extended
Disallow: /
User-agent: Googlebot
Allow: /
和 Google 相关的页面#
Google 的爬虫详情#
- Google-Extended:训练
- Googlebot:搜索引擎
同用途的其他公司爬虫#
- 训练类:HySpider、KimiBot、GPTBot、ClaudeBot、Applebot-Extended、CCBot、Amazonbot、Meta-ExternalAgent
- 搜索引擎类:Bytespider、Baiduspider、YisouSpider、Sogou web spider、360Spider、PetalBot、Applebot、Bingbot