日志里的 Googlebot 是真的吗:本站 1,610 次自称 Googlebot 的核验结果

· 约 7 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。

目录
  1. 谁会遇到这个问题?
  2. 本站的核验结果:四种情况
  3. 每种结果怎么处理?
  4. 自己核验一条请求:三步
    1. 第 1 步:反向 DNS
    2. 第 2 步:正向确认
    3. 第 3 步:对照官方 IP 段(批量时更方便)
  5. 这件事和 GEO 有什么关系?
  6. 常见问题
    1. UA 和 Google 官方写法一字不差,还会是假的吗?
    2. IP 已经匿名成 .0 了,还能核验吗?
    3. 确认是冒充之后,要不要直接封掉这个 IP?
    4. Googlebot 为什么会大量收到 410?

一句话结论:日志里写着 Googlebot,只说明对方自称 Googlebot。本站 2026-10-25 至 11-08 共 1,610 次自称 Googlebot 的请求,按 Google 官方的 IP 段核验,能确认是真的 384 次、确认是假的 190 次,剩下 1,036 次因为 IP 已匿名只能判断「可能是真的」【实测】。核验并不难,难的是知道每种结果该怎么处理。

谁会遇到这个问题?#

两类站长最常问这个问题:

  • 在排查异常流量的人。日志里出现大量 Googlebot 请求,路径却很奇怪(/wp-json/、/wordpress/),想知道是不是 Google 在乱抓;
  • 在做「爬虫白名单」的人。想对搜索引擎放宽限速或开放某些路径,又担心有人借 Googlebot 的名字钻空子。

两种情况的答案都一样:不要相信 UA,去核验 IP。Google 是公开核验方法最完整的公司之一,既给了反查域名,也公布了 JSON 格式的 IP 段【官方】,所以拿 Googlebot 练手最合适;同样的流程也适用于 Bingbot、Baiduspider、GPTBot 等。

本站的核验结果:四种情况#

本站日志在 2026-10-29 23:10 之前记的是完整 IP,之后 IP 末段统一记为 .0(隐私处理)【实测】。两个时段能做的核验不同,于是 1,610 次请求落进四种结果【实测】:

时段核验结果请求能下的结论
完整 IP(415 次)IP 在 Google 官方段内384是 Google
完整 IPIP 不在官方段内,反查也不在 google 域名下31冒充
匿名 IP(1,195 次)所在 /24 与官方段有重合1,036可能是 Google,不能确认
匿名 IP所在 /24 与官方段完全不重合159冒充

核验时载入的 Google 官方 IP 段有 1,677 条【实测】。确认冒充的 190 次(31 + 159)来自 10 个不同的 /24,其中一个境外托管网段就占 164 次;180 次用的是和 Google 官方完全相同的短 UA【实测】。冒充者请求最多的路径是首页 19 次、/wp-json/ 13 次、/wordpress/ 13 次、/news/wp-json/ 12 次、/cms/?rest_route=/ 11 次【实测】——本站是静态网站,没有这些接口,这是借 Googlebot 的名字找 WordPress 漏洞【推断】。

以上计数含同一台服务器上的其他网站。只看 opengeo.page 一个站,同期自称 Googlebot 的有 1,100 次:200 响应 582 次、301 有 69 次、410 有 416 次、404 有 33 次【实测】。按网段统计的冒充者只写「境外托管网段」这类通用说法,不公开 IP、ASN 编号或网络运营商名称。

每种结果怎么处理?#

确认是 Google(384 次)。不需要处理。如果它在大量请求已下线的地址,说明它还在确认旧页面的状态。本站自称 Googlebot 的请求里有 416 次碰到 410,集中在 /tags/、/platforms/、/columns/ 等 2026-10-29 退役的旧栏目【实测】;这些请求没有逐条核验,返回 410 就是为了让搜索引擎尽快放弃这些地址【推断】。

确认冒充(190 次)。看它在请求什么。抓公开页面的,影响有限;扫接口、找密钥文件的,应该在服务器上拦。拦的条件要写成「UA 自称 Googlebot 并且 IP 不在 Google 段内」,写法见伪装爬虫。

可能是 Google(1,036 次)。匿名后只剩 /24,不能确认。如果确实要分清,只能在日志里多保留一段时间完整 IP,或在请求进来时(nginx 层面)实时核验,而不是事后翻日志【推断】。

没有核验方法的。不是每家都公布了 IP 段或反查域名;这种情况下不要轻易下「冒充」的结论。本站 Meta-ExternalAgent 的 40 次全部来自 Meta 自己的网络,但因为 Meta 没有给官方核验方法,只能记为「网络对得上」【实测】。

自己核验一条请求:三步#

第 1 步:反向 DNS#

对日志里的 IP 做反查,主机名应该以 googlebot.com、google.com 或 googleusercontent.com 结尾【官方】:

host 66.249.66.1
# … domain name pointer crawl-66-249-66-1.googlebot.com.

第 2 步:正向确认#

再把上一步得到的主机名正向解析,必须回到同一个 IP【官方】。只做第 1 步不够:对方可以给自己的 IP 设一个假的反查名。

host crawl-66-249-66-1.googlebot.com
# … has address 66.249.66.1

第 3 步:对照官方 IP 段(批量时更方便)#

日志量大时,逐个做 DNS 太慢。下载 Google 的 common-crawlers.json,用脚本判断每个 IP 是否落在某个网段里【官方】。本站的核验脚本就是这样做的,判定规则与上表四种情况一致。

各家的反查域名和 IP 段地址汇总在伪装爬虫;每个爬虫的详情页(例如 Googlebot、GPTBot)也写了它自己的核验方法。

这件事和 GEO 有什么关系?#

做 GEO 的第一步,常常是「看看 AI 爬虫有没有来」(见查 AI 爬虫来没来)。如果不核验,数字会被冒充者放大:本站同期自称表中爬虫的 2,511 次请求里,至少 236 次是冒充【实测】。拿掺了水的数字去判断「AI 喜不喜欢我的网站」,结论自然不可靠。

常见问题#

UA 和 Google 官方写法一字不差,还会是假的吗?#

会。本站确认冒充的 190 次里,180 次用的正是 Google 官方的短 UA 原文。UA 是请求方自己写的一行字,只能作为线索,身份要看 IP。

IP 已经匿名成 .0 了,还能核验吗?#

只能粗核验。看这个 /24 网段和 Google 公布的 IP 段有没有重合:完全不重合,可以确认不是 Google;有重合,只能说可能是真的,不能确认。

确认是冒充之后,要不要直接封掉这个 IP?#

看它在干什么。只是来抓公开网页的,封不封影响不大;在扫 /wp-json/、.env 这类接口和密钥文件的,建议在服务器上按 UA 加 IP 段拦截,返回 403。不要按 UA 一刀切,那样会把真 Googlebot 也挡掉。

Googlebot 为什么会大量收到 410?#

本站 2026-10-29 清理了旧栏目,旧地址一律返回 410。搜索引擎会回来重抓这些地址,直到确认它们已经下线,这是预期中的现象。这 416 次里是否全是真 Googlebot,本站没有逐条核验。