Google 的 AI 相关爬虫:Googlebot 与 Google-Extended 的分工

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Google 有哪些爬虫?
  2. Google 官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里 Google 的爬虫来了几次?
  5. 一次放行或屏蔽 Google 的全部爬虫
  6. 和 Google 相关的页面
    1. Google 的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:在 Google 这里,抓网页的只有 Googlebot 等通用爬虫;Google-Extended 没有自己的 UA,只是一个 robots.txt 开关,管 Gemini 能不能拿内容训练和 grounding,官方说不影响搜索收录和排名。

Google 有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
Google-ExtendedGoogle-Extended训练官方文档—
GooglebotGooglebot搜索引擎官方文档1,610

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。Google-Extended 没有自己的 UA,所以记为「—」。

Google 官方公开了什么?#

Google 的爬虫文档把两件事分开写【官方】:Googlebot 等通用爬虫在自动抓取时「总是遵守 robots.txt」,IP 段公布在 common-crawlers.json;Google-Extended 是独立的产品 token,由现有爬虫执行,没有单独的 HTTP 请求,用来控制内容能否用于 Gemini 等模型的训练和 grounding。

官方还说计划在 2027 年初支持 AIPREF 训练偏好信号【官方】。Google 搜索的 AI Overviews 用的也是搜索索引,但 Googlebot 的官方页没有单独写这一点【推断】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
Google-Extended只是 robots.txt 开关未公布无独立 UA
Googlebot官方说遵守有1610 次中 190 次不通过

本站 15 天里 Google 的爬虫来了几次?#

Google 的 2 个条目在本站 15 天里合计 1,610 次,最多的是 Googlebot(1,610 次);按官方 IP 段或反查核验,不通过的有 190 次【实测】。

一次放行或屏蔽 Google 的全部爬虫#

# 屏蔽 Google 的全部爬虫
User-agent: Google-Extended
User-agent: Googlebot
Disallow: /
# 放行 Google 的全部爬虫
User-agent: Google-Extended
User-agent: Googlebot
Allow: /

只挡训练、其余照常:

User-agent: Google-Extended
Disallow: /

User-agent: Googlebot
Allow: /

Google 的爬虫详情#

同用途的其他公司爬虫#

其他#