Googlebot 是什么:真假怎么分?本站 15 天 1,610 次里 190 次是冒充

· 约 7 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Googlebot 是谁家的、拿去做什么?
  2. 屏蔽 Googlebot 会改变什么?
  3. Googlebot 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Googlebot?
  5. robots.txt 怎么放行或屏蔽 Googlebot?
  6. 本站 15 天里 Googlebot 来了几次?
  7. 关于 Googlebot 的常见误解
  8. 常见问题
    1. 怎么判断访问我网站的 Googlebot 是真的?
    2. 冒充 Googlebot 的请求都在干什么?
    3. 屏蔽 Googlebot 能阻止 Gemini 训练吗?
  9. 和 Googlebot 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Googlebot 是 Google 搜索的爬虫(本表作对照),网站要被 Google 收录就必须放行。它也是被冒充最多的名字:本站 1,610 次里至少 190 次不是 Google,核验要用反查或官方 IP JSON。

Googlebot
归属Google
服务的产品Google 搜索(含 AI Overviews 所用索引,官方页未单列)
用途类型传统搜索引擎收录
是否遵守 robots官方说遵守
依据官方文档

Googlebot 是谁家的、拿去做什么?#

Google 官方说明:通用爬虫(包括 Googlebot)在自动抓取时总是遵守 robots.txt【官方】。Google 搜索的 AI Overviews 用的也是搜索索引,但官方 Googlebot 页没有单独列出这一点【推断】。

控制 Gemini 训练用的是另一个名字 Google-Extended,不是 Googlebot【官方】。本站 1,610 次里,Googlebot-Image 31 次【实测】。

屏蔽 Googlebot 会改变什么?#

屏蔽 Googlebot 等于退出 Google 搜索【推断】。不想进 Gemini 训练,屏蔽 Google-Extended 即可,Googlebot 照常放行【官方】。

Googlebot 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

怎么确认来访的真是 Googlebot?#

Google 官方给了两种办法【官方】:一是 host IP 反查,主机名应在 googlebot.com、google.com 或 googleusercontent.com 下,再正向解析确认是同一个 IP;二是对照官方 IP JSON(common-crawlers.json 等)。

robots.txt 怎么放行或屏蔽 Googlebot?#

# 放行
User-agent: Googlebot
Allow: /
# 屏蔽
User-agent: Googlebot
Disallow: /

Googlebot 不该整个屏蔽,要拦的是冒充者。nginx 可以用官方 IP 段做白名单:UA 自称 Googlebot、IP 却不在官方段的请求返回 403。先把官方 JSON 转成 nginx 能读的文件(每天更新一次):

curl -s https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' \
  > /etc/nginx/ranges/googlebot.conf
# http {} 里
geo $real_googlebot { default 0; include /etc/nginx/ranges/googlebot.conf; }
map $http_user_agent $claims_googlebot { default 0; "~*Googlebot" 1; }
map "$claims_googlebot$real_googlebot" $fake_googlebot { default 0; "10" 1; }

# server {} 里
if ($fake_googlebot) { return 403; }

网站在 CDN 后面时,要先用 real_ip_header 取到真实来源 IP,否则 geo 判断的是 CDN 的地址。完整说明见伪装爬虫页。

本站 15 天里 Googlebot 来了几次?#

2026-10-25 01:00 至 11-08 21:22,北京时间【实测】
自称 Googlebot1,610 次
opengeo.page 主站 / 同机其他站点1,296 / 314
最后一次2026-11-08 21:22(北京时间)
完整 IP 时段核验通过384 / 415
匿名时段 /24 重合 / 不重合1036 / 159

按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。

关于 Googlebot 的常见误解#

「UA 带 Googlebot 就该放行。」本站 190 次冒充里,180 次用的正是官方短 UA 原文【实测】。

「Googlebot 管 Gemini 训练。」训练开关是 Google-Extended【官方】。

常见问题#

怎么判断访问我网站的 Googlebot 是真的?#

对来访 IP 做反向 DNS,主机名应以 googlebot.com、google.com 或 googleusercontent.com 结尾,再把主机名正向解析回原 IP;或者直接对照 Google 公布的 IP 段 JSON。

冒充 Googlebot 的请求都在干什么?#

本站 190 次冒充请求里,最多的是访问首页和 /wp-json/、/wordpress/、/cms/?rest_route= 这类 WordPress 接口,本站并不是 WordPress,属于扫描。

屏蔽 Googlebot 能阻止 Gemini 训练吗?#

不需要这样做。Google 给了单独的 Google-Extended 控制名,屏蔽它不影响搜索收录。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#