Google-Extended 是什么:只写在 robots.txt 里的 Gemini 训练开关

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Google-Extended 是谁家的、拿去做什么?
  2. 屏蔽 Google-Extended 会改变什么?
  3. Google-Extended 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Google-Extended?
  5. robots.txt 怎么放行或屏蔽 Google-Extended?
  6. 本站 15 天里 Google-Extended 来了几次?
  7. 关于 Google-Extended 的常见误解
  8. 常见问题
    1. 屏蔽 Google-Extended 会影响 Google 搜索排名吗?
    2. 为什么我的日志里从来没有 Google-Extended?
    3. 日志里出现自称 Google-Extended 的请求怎么办?
  9. 和 Google-Extended 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Google-Extended 不是爬虫,没有单独的 UA,日志里永远不会出现;它是 robots.txt 里的一个开关,控制你的内容能否用于 Gemini 训练和 grounding。屏蔽它不影响 Google 搜索收录和排名。

Google-Extended
归属Google
服务的产品Gemini 训练与 grounding
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots只是 robots.txt 开关
依据官方文档

Google-Extended 是谁家的、拿去做什么?#

Google 官方说明:Google-Extended 是独立的产品 token,由 Google 现有爬虫执行,没有单独的 HTTP 请求 UA【官方】。它控制内容能否用于 Gemini 等模型的训练和 grounding,官方说不影响 Google 搜索的收录和排名【官方】。

官方还计划在 2027 年初支持 AIPREF 训练偏好信号【官方】。

屏蔽 Google-Extended 会改变什么?#

在 robots.txt 里写 User-agent: Google-Extended + Disallow: /:Gemini 不用你的内容训练和 grounding,Google 搜索照常收录【官方】。至于 AI Overviews,它依托 Google 搜索索引,Google-Extended 的官方说明里没有把它列进去【推断】。

Google-Extended 的 User-Agent 长什么样?#

它没有单独的 UA,只在 robots.txt 里以 Google-Extended 这个名字出现【官方】。

怎么确认来访的真是 Google-Extended?#

不需要核验真 Google-Extended,因为它不会以 UA 形式出现【官方】。反过来,日志里任何自称 Google-Extended 的请求都是假的:GreyNoise 报告里 263,849 次带这个名字的会话全部是伪造【推断】。

robots.txt 怎么放行或屏蔽 Google-Extended?#

# 放行
User-agent: Google-Extended
Allow: /
# 屏蔽
User-agent: Google-Extended
Disallow: /

本站 15 天里 Google-Extended 来了几次?#

Google-Extended 没有自己的 UA,日志里不会出现,所以没有访问次数【官方】;本站日志里也确实没有任何 UA 含 Google-Extended【实测】。

关于 Google-Extended 的常见误解#

「屏蔽 Google-Extended 会掉 Google 排名。」官方说不影响搜索收录和排名【官方】。

「日志里能看到 Google-Extended 来访。」它没有 UA,看到的都是冒充【官方】。

常见问题#

屏蔽 Google-Extended 会影响 Google 搜索排名吗?#

不会。Google 官方说 Google-Extended 不影响网站在 Google 搜索里的收录和排名。

为什么我的日志里从来没有 Google-Extended?#

因为它没有单独的 UA。它只是 robots.txt 里的控制名,实际抓取由 Googlebot 等现有爬虫完成。

日志里出现自称 Google-Extended 的请求怎么办?#

按冒充处理。Google 说这个名字不会作为 UA 发送,凡是带它的请求都不是 Google。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#