日志里的 Googlebot 是真的吗:本站 1,610 次自称 Googlebot 的核验结果
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。
目录
一句话结论:日志里写着 Googlebot,只说明对方自称 Googlebot。本站 2026-10-25 至 11-08 共 1,610 次自称 Googlebot 的请求,按 Google 官方的 IP 段核验,能确认是真的 384 次、确认是假的 190 次,剩下 1,036 次因为 IP 已匿名只能判断「可能是真的」【实测】。核验并不难,难的是知道每种结果该怎么处理。
谁会遇到这个问题?#
两类站长最常问这个问题:
- 在排查异常流量的人。日志里出现大量 Googlebot 请求,路径却很奇怪(/wp-json/、/wordpress/),想知道是不是 Google 在乱抓;
- 在做「爬虫白名单」的人。想对搜索引擎放宽限速或开放某些路径,又担心有人借 Googlebot 的名字钻空子。
两种情况的答案都一样:不要相信 UA,去核验 IP。Google 是公开核验方法最完整的公司之一,既给了反查域名,也公布了 JSON 格式的 IP 段【官方】,所以拿 Googlebot 练手最合适;同样的流程也适用于 Bingbot、Baiduspider、GPTBot 等。
本站的核验结果:四种情况#
本站日志在 2026-10-29 23:10 之前记的是完整 IP,之后 IP 末段统一记为 .0(隐私处理)【实测】。两个时段能做的核验不同,于是 1,610 次请求落进四种结果【实测】:
| 时段 | 核验结果 | 请求 | 能下的结论 |
|---|---|---|---|
| 完整 IP(415 次) | IP 在 Google 官方段内 | 384 | 是 Google |
| 完整 IP | IP 不在官方段内,反查也不在 google 域名下 | 31 | 冒充 |
| 匿名 IP(1,195 次) | 所在 /24 与官方段有重合 | 1,036 | 可能是 Google,不能确认 |
| 匿名 IP | 所在 /24 与官方段完全不重合 | 159 | 冒充 |
核验时载入的 Google 官方 IP 段有 1,677 条【实测】。确认冒充的 190 次(31 + 159)来自 10 个不同的 /24,其中一个境外托管网段就占 164 次;180 次用的是和 Google 官方完全相同的短 UA【实测】。冒充者请求最多的路径是首页 19 次、/wp-json/ 13 次、/wordpress/ 13 次、/news/wp-json/ 12 次、/cms/?rest_route=/ 11 次【实测】——本站是静态网站,没有这些接口,这是借 Googlebot 的名字找 WordPress 漏洞【推断】。
以上计数含同一台服务器上的其他网站。只看 opengeo.page 一个站,同期自称 Googlebot 的有 1,100 次:200 响应 582 次、301 有 69 次、410 有 416 次、404 有 33 次【实测】。按网段统计的冒充者只写「境外托管网段」这类通用说法,不公开 IP、ASN 编号或网络运营商名称。
每种结果怎么处理?#
确认是 Google(384 次)。不需要处理。如果它在大量请求已下线的地址,说明它还在确认旧页面的状态。本站自称 Googlebot 的请求里有 416 次碰到 410,集中在 /tags/、/platforms/、/columns/ 等 2026-10-29 退役的旧栏目【实测】;这些请求没有逐条核验,返回 410 就是为了让搜索引擎尽快放弃这些地址【推断】。
确认冒充(190 次)。看它在请求什么。抓公开页面的,影响有限;扫接口、找密钥文件的,应该在服务器上拦。拦的条件要写成「UA 自称 Googlebot 并且 IP 不在 Google 段内」,写法见伪装爬虫。
可能是 Google(1,036 次)。匿名后只剩 /24,不能确认。如果确实要分清,只能在日志里多保留一段时间完整 IP,或在请求进来时(nginx 层面)实时核验,而不是事后翻日志【推断】。
没有核验方法的。不是每家都公布了 IP 段或反查域名;这种情况下不要轻易下「冒充」的结论。本站 Meta-ExternalAgent 的 40 次全部来自 Meta 自己的网络,但因为 Meta 没有给官方核验方法,只能记为「网络对得上」【实测】。
自己核验一条请求:三步#
第 1 步:反向 DNS#
对日志里的 IP 做反查,主机名应该以 googlebot.com、google.com 或 googleusercontent.com 结尾【官方】:
host 66.249.66.1
# … domain name pointer crawl-66-249-66-1.googlebot.com.
第 2 步:正向确认#
再把上一步得到的主机名正向解析,必须回到同一个 IP【官方】。只做第 1 步不够:对方可以给自己的 IP 设一个假的反查名。
host crawl-66-249-66-1.googlebot.com
# … has address 66.249.66.1
第 3 步:对照官方 IP 段(批量时更方便)#
日志量大时,逐个做 DNS 太慢。下载 Google 的 common-crawlers.json,用脚本判断每个 IP 是否落在某个网段里【官方】。本站的核验脚本就是这样做的,判定规则与上表四种情况一致。
各家的反查域名和 IP 段地址汇总在伪装爬虫;每个爬虫的详情页(例如 Googlebot、GPTBot)也写了它自己的核验方法。
这件事和 GEO 有什么关系?#
做 GEO 的第一步,常常是「看看 AI 爬虫有没有来」(见查 AI 爬虫来没来)。如果不核验,数字会被冒充者放大:本站同期自称表中爬虫的 2,511 次请求里,至少 236 次是冒充【实测】。拿掺了水的数字去判断「AI 喜不喜欢我的网站」,结论自然不可靠。
常见问题#
UA 和 Google 官方写法一字不差,还会是假的吗?#
会。本站确认冒充的 190 次里,180 次用的正是 Google 官方的短 UA 原文。UA 是请求方自己写的一行字,只能作为线索,身份要看 IP。
IP 已经匿名成 .0 了,还能核验吗?#
只能粗核验。看这个 /24 网段和 Google 公布的 IP 段有没有重合:完全不重合,可以确认不是 Google;有重合,只能说可能是真的,不能确认。
确认是冒充之后,要不要直接封掉这个 IP?#
看它在干什么。只是来抓公开网页的,封不封影响不大;在扫 /wp-json/、.env 这类接口和密钥文件的,建议在服务器上按 UA 加 IP 段拦截,返回 403。不要按 UA 一刀切,那样会把真 Googlebot 也挡掉。
Googlebot 为什么会大量收到 410?#
本站 2026-10-29 清理了旧栏目,旧地址一律返回 410。搜索引擎会回来重抓这些地址,直到确认它们已经下线,这是预期中的现象。这 416 次里是否全是真 Googlebot,本站没有逐条核验。