Googlebot 是什么:真假怎么分?本站 15 天 1,610 次里 190 次是冒充
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Googlebot 是 Google 搜索的爬虫(本表作对照),网站要被 Google 收录就必须放行。它也是被冒充最多的名字:本站 1,610 次里至少 190 次不是 Google,核验要用反查或官方 IP JSON。
| Googlebot | |
|---|---|
| 归属 | |
| 服务的产品 | Google 搜索(含 AI Overviews 所用索引,官方页未单列) |
| 用途类型 | 传统搜索引擎收录 |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
Googlebot 是谁家的、拿去做什么?#
Google 官方说明:通用爬虫(包括 Googlebot)在自动抓取时总是遵守 robots.txt【官方】。Google 搜索的 AI Overviews 用的也是搜索索引,但官方 Googlebot 页没有单独列出这一点【推断】。
控制 Gemini 训练用的是另一个名字 Google-Extended,不是 Googlebot【官方】。本站 1,610 次里,Googlebot-Image 31 次【实测】。
屏蔽 Googlebot 会改变什么?#
屏蔽 Googlebot 等于退出 Google 搜索【推断】。不想进 Gemini 训练,屏蔽 Google-Extended 即可,Googlebot 照常放行【官方】。
Googlebot 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- 官方文档:https://developers.google.com/search/docs/crawling-indexing/googlebot
- 官方 IP 列表:https://developers.google.com/static/crawling/ipranges/common-crawlers.json
怎么确认来访的真是 Googlebot?#
Google 官方给了两种办法【官方】:一是 host IP 反查,主机名应在 googlebot.com、google.com 或 googleusercontent.com 下,再正向解析确认是同一个 IP;二是对照官方 IP JSON(common-crawlers.json 等)。
robots.txt 怎么放行或屏蔽 Googlebot?#
# 放行
User-agent: Googlebot
Allow: /
# 屏蔽
User-agent: Googlebot
Disallow: /
Googlebot 不该整个屏蔽,要拦的是冒充者。nginx 可以用官方 IP 段做白名单:UA 自称 Googlebot、IP 却不在官方段的请求返回 403。先把官方 JSON 转成 nginx 能读的文件(每天更新一次):
curl -s https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' \
> /etc/nginx/ranges/googlebot.conf
# http {} 里
geo $real_googlebot { default 0; include /etc/nginx/ranges/googlebot.conf; }
map $http_user_agent $claims_googlebot { default 0; "~*Googlebot" 1; }
map "$claims_googlebot$real_googlebot" $fake_googlebot { default 0; "10" 1; }
# server {} 里
if ($fake_googlebot) { return 403; }
网站在 CDN 后面时,要先用 real_ip_header 取到真实来源 IP,否则 geo 判断的是 CDN 的地址。完整说明见伪装爬虫页。
本站 15 天里 Googlebot 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 Googlebot | 1,610 次 |
| opengeo.page 主站 / 同机其他站点 | 1,296 / 314 |
| 最后一次 | 2026-11-08 21:22(北京时间) |
| 完整 IP 时段核验通过 | 384 / 415 |
| 匿名时段 /24 重合 / 不重合 | 1036 / 159 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 Googlebot 的常见误解#
「UA 带 Googlebot 就该放行。」本站 190 次冒充里,180 次用的正是官方短 UA 原文【实测】。
「Googlebot 管 Gemini 训练。」训练开关是 Google-Extended【官方】。
常见问题#
怎么判断访问我网站的 Googlebot 是真的?#
对来访 IP 做反向 DNS,主机名应以 googlebot.com、google.com 或 googleusercontent.com 结尾,再把主机名正向解析回原 IP;或者直接对照 Google 公布的 IP 段 JSON。
冒充 Googlebot 的请求都在干什么?#
本站 190 次冒充请求里,最多的是访问首页和 /wp-json/、/wordpress/、/cms/?rest_route= 这类 WordPress 接口,本站并不是 WordPress,属于扫描。
屏蔽 Googlebot 能阻止 Gemini 训练吗?#
不需要这样做。Google 给了单独的 Google-Extended 控制名,屏蔽它不影响搜索收录。
和 Googlebot 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- Bytespider:字节跳动
- Baiduspider:百度
- YisouSpider:神马搜索
- Sogou web spider:搜狗
- 360Spider:360
- PetalBot:华为
- Applebot:Apple
- Bingbot:Microsoft
- 全部搜索引擎类爬虫与 robots 模板