Google-Extended 是什么:只写在 robots.txt 里的 Gemini 训练开关
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Google-Extended 不是爬虫,没有单独的 UA,日志里永远不会出现;它是 robots.txt 里的一个开关,控制你的内容能否用于 Gemini 训练和 grounding。屏蔽它不影响 Google 搜索收录和排名。
| Google-Extended | |
|---|---|
| 归属 | |
| 服务的产品 | Gemini 训练与 grounding |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 只是 robots.txt 开关 |
| 依据 | 官方文档 |
Google-Extended 是谁家的、拿去做什么?#
Google 官方说明:Google-Extended 是独立的产品 token,由 Google 现有爬虫执行,没有单独的 HTTP 请求 UA【官方】。它控制内容能否用于 Gemini 等模型的训练和 grounding,官方说不影响 Google 搜索的收录和排名【官方】。
官方还计划在 2027 年初支持 AIPREF 训练偏好信号【官方】。
屏蔽 Google-Extended 会改变什么?#
在 robots.txt 里写 User-agent: Google-Extended + Disallow: /:Gemini 不用你的内容训练和 grounding,Google 搜索照常收录【官方】。至于 AI Overviews,它依托 Google 搜索索引,Google-Extended 的官方说明里没有把它列进去【推断】。
Google-Extended 的 User-Agent 长什么样?#
它没有单独的 UA,只在 robots.txt 里以 Google-Extended 这个名字出现【官方】。
怎么确认来访的真是 Google-Extended?#
不需要核验真 Google-Extended,因为它不会以 UA 形式出现【官方】。反过来,日志里任何自称 Google-Extended 的请求都是假的:GreyNoise 报告里 263,849 次带这个名字的会话全部是伪造【推断】。
robots.txt 怎么放行或屏蔽 Google-Extended?#
# 放行
User-agent: Google-Extended
Allow: /
# 屏蔽
User-agent: Google-Extended
Disallow: /
本站 15 天里 Google-Extended 来了几次?#
Google-Extended 没有自己的 UA,日志里不会出现,所以没有访问次数【官方】;本站日志里也确实没有任何 UA 含 Google-Extended【实测】。
关于 Google-Extended 的常见误解#
「屏蔽 Google-Extended 会掉 Google 排名。」官方说不影响搜索收录和排名【官方】。
「日志里能看到 Google-Extended 来访。」它没有 UA,看到的都是冒充【官方】。
常见问题#
屏蔽 Google-Extended 会影响 Google 搜索排名吗?#
不会。Google 官方说 Google-Extended 不影响网站在 Google 搜索里的收录和排名。
为什么我的日志里从来没有 Google-Extended?#
因为它没有单独的 UA。它只是 robots.txt 里的控制名,实际抓取由 Googlebot 等现有爬虫完成。
日志里出现自称 Google-Extended 的请求怎么办?#
按冒充处理。Google 说这个名字不会作为 UA 发送,凡是带它的请求都不是 Google。
和 Google-Extended 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- HySpider:腾讯
- KimiBot:月之暗面
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板