日志里的 GPTBot 是真的吗?AI 爬虫真伪识别
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。
目录
只在你的浏览器里比对,粘贴的日志不会上传。官方 IP 段是 2026-11-11 抓取的快照,共 16 份官方列表;每份的来源和日期见下文「IP 段从哪来」。
一句话说明:User-Agent 是请求自己写的一行字,谁都能自称 Googlebot 或 GPTBot。把服务器日志粘进上面的框,工具先看每行自称哪个爬虫,再拿那家官方公布的 IP 段去比:在段内算核实通过,不在段内算冒充。官方没给 IP 段、只给反查域名的,工具给出反查命令;官方什么方法都没给的,工具不下结论。
本站日志里冒充有多少?#
这个工具的判定规则,就是 OpenGEO 统计本站日志时用的规则。opengeo.page 在 2026-10-25 至 11-08 的 15 天里,有 2,511 次请求自称是收录表里的爬虫,按官方方法核验,至少 236 次是冒充【实测】。按名字看:
| 自称 | 请求 | 确认冒充 | 冒充占比 |
|---|---|---|---|
| Googlebot | 1,610 | 190 | 11.8% |
| Baiduspider | 57 | 28 | 49.1% |
| ChatGPT-User | 11 | 9 | 81.8% |
| GPTBot | 155 | 2 | 1.3% |
| ClaudeBot | 122 | 2 | 1.6% |
| PerplexityBot | 10 | 2 | 20.0% |
| Bytespider | 2 | 2 | 100% |
| Bingbot | 323 | 1 | 0.3% |
数字原样取自《伪装成 AI 爬虫的请求:怎么识别》表 3,口径和局限见该页 3.3 节:236 是下限,样本只有一个新站、15 天,比例不能推广到别的网站。
怎么用?#
- 1从服务器取日志。nginx 默认的 access.log、宝塔的网站日志、Apache 的 combined 格式都可以;JSON 格式的日志,只要字段名里有 ip 和 ua(或 remote_addr、http_user_agent)也能认。
- 2每行一条,粘进上面的框。只想查一两个可疑请求,写成「IP 空格 UA」也行。
- 3看汇总和逐行结果。判定冒充的行,再看「依据」一栏:IP 不在哪份列表里、列表是哪天抓的、请求路径像不像在找漏洞。
日志里如果做过 IP 匿名(末段记为 .0),先勾选「IP 末段已匿名」,否则落在官方 /32 单个地址旁边的请求会被误判成冒充。
七种结论分别是什么意思?#
| 结论 | 什么情况 | 下一步 |
|---|---|---|
| 核实通过 | IP 在那家官方公布的网段内 | 可以放行 |
| 判定冒充 | IP 不在官方网段内;或自称 Google-Extended、Applebot-Extended 这类根本不发请求的名字 | 可以在服务器上按「UA+IP」拦截 |
| 无法确认 | 官方列表可能过期(Bingbot),或 IP 已匿名且所在 /24 与官方段重合 | 用反查或官方核验工具再确认 |
| 需要反查 | 官方只给了反查域名(百度、PetalBot) | 在服务器上运行工具给出的 host 命令 |
| 无法判断 | 官方没有公布 UA、IP 或任何核验方法(Doubaobot、TongyiBot、Meta-ExternalAgent 等) | 只能看行为,不能定性 |
| 缺少 IP | 这一行没找到 IP 地址 | 检查是否只粘了 UA |
| 未自称爬虫 | UA 里没有收录表中任何一个名字 | 不在本工具的范围内 |
「UA 与官方格式不一致」只是提示:本站抓到的 190 次冒充 Googlebot 里,180 次用的是官方短 UA 原文【实测】,格式对上了也可能是假的;反过来,UA 版本号偶尔会和文档不同。定性只看 IP。
示例结果#
预填的 10 行是示例,不是真实访客:第 1、2 行的 IP 取自 GPTBot、Googlebot 官方列表里的第一个 IPv4 网段,其余用的是 RFC 5737 规定的文档专用地址(192.0.2.x、198.51.100.x、203.0.113.x),路径和 UA 写法照本站实际见过的冒充请求改写【实测】。工具算出的结论:
| 行 | 自称 | 结论 | 依据 |
|---|---|---|---|
| 1 | GPTBot | 核实通过 | IP 在 openai.com/gptbot.json 内 |
| 2 | Googlebot | 核实通过 | IP 在 Google common-crawlers.json 内 |
| 3 | ChatGPT-User | 判定冒充 | IP 不在 chatgpt-user.json 内;请求 /.env.production |
| 4 | Googlebot | 判定冒充 | IP 不在官方列表内;请求 /wp-json/ |
| 5 | GPTBot | 判定冒充 | IP 不在官方列表内;UA 是去掉网址的简化写法 |
| 6 | Baiduspider | 需要反查 | 百度不公布 IP 段 |
| 7 | Bingbot | 无法确认 | 官方 bingbot.json 生成于 2024-01-03,可能不全 |
| 8 | Doubaobot | 无法判断 | 字节跳动没有公布这个名字 |
| 9 | Google-Extended | 判定冒充 | Google 不发送这个 UA |
| 10 | — | 未自称爬虫 | 普通浏览器 UA |
10 行里 9 行自称爬虫:核实通过 2,判定冒充 4,无法确认 1,需要反查 1,无法判断 1。
IP 段从哪来?#
只用各公司官方公布的列表或官方文档页,构建时嵌进页面,工具本身不联网。生成脚本是本站仓库里的 scripts/make-crawler-ipranges.py,数据文件 data/crawler-ipranges.json。
以上 16 份列表均于 2026-11-11(北京时间)从官方地址抓取。当天没能抓到的:CCBot(index.commoncrawl.org/ccbot.json),工具对它改为提示反查。
几点说明:Anthropic 三个爬虫共用一份列表【官方】;Googlebot 用的是 Google 常规爬虫列表,不含广告类和用户触发的抓取器;360 官方说明暂不支持反查,只能对 IP 段【官方】。列表会变,判定为冒充的 IP 如果确实来自官方,多半是快照之后新加的网段,到对应的官方地址再查一次即可。
不用工具,怎么自己核验?#
两种办法,详见伪装爬虫一文的 5.2 节:
- 有官方 IP 列表的,下载列表,看来访 IP 在不在里面;
- 给了反查域名的,先
host <IP>看主机名是否在官方域名下(Googlebot 是 googlebot.com、google.com、googleusercontent.com,百度是 baidu.com、baidu.jp),再host <主机名>确认解析回同一个 IP。只做第一步不够,反查名可以伪造。
要在 nginx 里直接拦截「UA 自称某爬虫、IP 却不在它的官方段内」的请求,那篇文章的 5.3 节给了按天更新网段的脚本和配置。
能做什么、不能做什么#
能做:识别收录表里 29 个有名字的 AI 与搜索爬虫;比对 IPv4 和 IPv6;认 combined、JSON 和「IP+UA」三种写法;对官方 IP 段、反查、无方法三类分别给结论。
不能做:
- 浏览器里做不了反向 DNS,只能给出命令;
- 看不到完全不写爬虫名、伪装成普通浏览器的抓取;
- 不判断某个 IP 属于哪家网络运营商,也不提供拉黑名单。
想先看这些爬虫各是谁家的、拿去做什么,见 AI 爬虫收录表;想按场景走一遍核验流程,见日志里的 Googlebot 是真的吗。
常见问题#
粘贴的日志会被上传吗?#
不会。解析和比对都在你的浏览器里完成,官方 IP 段在打开页面时已经随页面下载好,页面不向任何服务器发送你粘贴的内容。
判定冒充一定准吗?#
对有官方 IP 列表的爬虫,IP 不在列表里基本可以认定不是官方爬虫;但列表会更新,本页用的是抓取当天的快照,快照之后新增的网段这里看不到。Bingbot 的官方文件生成于 2024-01-03,可能不全,所以对它只给「无法确认」。
为什么百度蜘蛛只显示需要反查?#
百度不公布 IP 段,只给了反查域名(baidu.com、baidu.jp)。浏览器做不了反向 DNS,所以工具给出命令,请在服务器上运行:主机名要在官方域名下,再正向解析回同一个 IP,才算真的。
豆包、千问的爬虫能识别吗?#
不能。截至 2026-11-11,字节跳动和阿里都没有公布豆包、千问专属爬虫的 UA 和 IP;Doubaobot、TongyiBot 这类名字只见于第三方目录。工具对它们显示「无法判断」,不会猜。
日志里的 IP 末段被匿名成 .0 了,还能用吗?#
能,但只能粗判。勾选「IP 末段已匿名」后,所在 /24 与官方网段完全不重合的判定冒充,重合的只能算无法确认。