日志里的 GPTBot 是真的吗?AI 爬虫真伪识别

· 约 16 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。

目录
  1. 本站日志里冒充有多少?
  2. 怎么用?
  3. 七种结论分别是什么意思?
  4. 示例结果
  5. IP 段从哪来?
  6. 不用工具,怎么自己核验?
  7. 能做什么、不能做什么
  8. 常见问题
    1. 粘贴的日志会被上传吗?
    2. 判定冒充一定准吗?
    3. 为什么百度蜘蛛只显示需要反查?
    4. 豆包、千问的爬虫能识别吗?
    5. 日志里的 IP 末段被匿名成 .0 了,还能用吗?

一句话说明:User-Agent 是请求自己写的一行字,谁都能自称 Googlebot 或 GPTBot。把服务器日志粘进上面的框,工具先看每行自称哪个爬虫,再拿那家官方公布的 IP 段去比:在段内算核实通过,不在段内算冒充。官方没给 IP 段、只给反查域名的,工具给出反查命令;官方什么方法都没给的,工具不下结论。

本站日志里冒充有多少?#

这个工具的判定规则,就是 OpenGEO 统计本站日志时用的规则。opengeo.page 在 2026-10-25 至 11-08 的 15 天里,有 2,511 次请求自称是收录表里的爬虫,按官方方法核验,至少 236 次是冒充【实测】。按名字看:

自称请求确认冒充冒充占比
Googlebot1,61019011.8%
Baiduspider572849.1%
ChatGPT-User11981.8%
GPTBot15521.3%
ClaudeBot12221.6%
PerplexityBot10220.0%
Bytespider22100%
Bingbot32310.3%

数字原样取自《伪装成 AI 爬虫的请求:怎么识别》表 3,口径和局限见该页 3.3 节:236 是下限,样本只有一个新站、15 天,比例不能推广到别的网站。

怎么用?#

  1. 1从服务器取日志。nginx 默认的 access.log、宝塔的网站日志、Apache 的 combined 格式都可以;JSON 格式的日志,只要字段名里有 ip 和 ua(或 remote_addr、http_user_agent)也能认。
  2. 2每行一条,粘进上面的框。只想查一两个可疑请求,写成「IP 空格 UA」也行。
  3. 3看汇总和逐行结果。判定冒充的行,再看「依据」一栏:IP 不在哪份列表里、列表是哪天抓的、请求路径像不像在找漏洞。

日志里如果做过 IP 匿名(末段记为 .0),先勾选「IP 末段已匿名」,否则落在官方 /32 单个地址旁边的请求会被误判成冒充。

七种结论分别是什么意思?#

结论什么情况下一步
核实通过IP 在那家官方公布的网段内可以放行
判定冒充IP 不在官方网段内;或自称 Google-Extended、Applebot-Extended 这类根本不发请求的名字可以在服务器上按「UA+IP」拦截
无法确认官方列表可能过期(Bingbot),或 IP 已匿名且所在 /24 与官方段重合用反查或官方核验工具再确认
需要反查官方只给了反查域名(百度、PetalBot)在服务器上运行工具给出的 host 命令
无法判断官方没有公布 UA、IP 或任何核验方法(Doubaobot、TongyiBot、Meta-ExternalAgent 等)只能看行为,不能定性
缺少 IP这一行没找到 IP 地址检查是否只粘了 UA
未自称爬虫UA 里没有收录表中任何一个名字不在本工具的范围内

「UA 与官方格式不一致」只是提示:本站抓到的 190 次冒充 Googlebot 里,180 次用的是官方短 UA 原文【实测】,格式对上了也可能是假的;反过来,UA 版本号偶尔会和文档不同。定性只看 IP。

示例结果#

预填的 10 行是示例,不是真实访客:第 1、2 行的 IP 取自 GPTBot、Googlebot 官方列表里的第一个 IPv4 网段,其余用的是 RFC 5737 规定的文档专用地址(192.0.2.x、198.51.100.x、203.0.113.x),路径和 UA 写法照本站实际见过的冒充请求改写【实测】。工具算出的结论:

行自称结论依据
1GPTBot核实通过IP 在 openai.com/gptbot.json 内
2Googlebot核实通过IP 在 Google common-crawlers.json 内
3ChatGPT-User判定冒充IP 不在 chatgpt-user.json 内;请求 /.env.production
4Googlebot判定冒充IP 不在官方列表内;请求 /wp-json/
5GPTBot判定冒充IP 不在官方列表内;UA 是去掉网址的简化写法
6Baiduspider需要反查百度不公布 IP 段
7Bingbot无法确认官方 bingbot.json 生成于 2024-01-03,可能不全
8Doubaobot无法判断字节跳动没有公布这个名字
9Google-Extended判定冒充Google 不发送这个 UA
10—未自称爬虫普通浏览器 UA

10 行里 9 行自称爬虫:核实通过 2,判定冒充 4,无法确认 1,需要反查 1,无法判断 1。

IP 段从哪来?#

只用各公司官方公布的列表或官方文档页,构建时嵌进页面,工具本身不联网。生成脚本是本站仓库里的 scripts/make-crawler-ipranges.py,数据文件 data/crawler-ipranges.json。

爬虫网段数官方文件生成时间来源(官方)
360Spider6官方帮助页列出的网段(写作 x.x.x.*)www.so.com/help/spider_ip.html
Amazonbot1292官方页面逐个列出的地址developer.amazon.com/amazonbot/ip-addresses/
ClaudeBot、Claude-User、Claude-SearchBot(Anthropic,共用一份)142026-10-20claude.com/crawling/bots.json
Applebot242026-09-15search.developer.apple.com/applebot.json
Bingbot292024-01-03www.bing.com/toolbox/bingbot.json
Bytespider(字节跳动)10官方文档列出的 /24 网段zhanzhang.toutiao.com/docs/intro/26899
ChatGPT-User(OpenAI)2372026-11-06openai.com/chatgpt-user.json
Googlebot(Google 常规爬虫)3172026-11-10developers.google.com/static/crawling/ipranges/common-crawlers.json
GPTBot(OpenAI)182026-09-22openai.com/gptbot.json
HySpider(腾讯混元)22026-10-14hy.tencent.com/policy/hyspider.json
Kimi-SearchBot(月之暗面)42026-05-18www.kimi.com/policies/kimi-searchbot.json
Kimi-User(月之暗面)42026-05-18www.kimi.com/policies/kimi-user.json
KimiBot(月之暗面)42026-05-18www.kimi.com/policies/kimibot.json
OAI-SearchBot(OpenAI)392026-01-02openai.com/searchbot.json
Perplexity-User102026-10-28www.perplexity.ai/perplexity-user.json
PerplexityBot132026-10-28www.perplexity.ai/perplexitybot.json

以上 16 份列表均于 2026-11-11(北京时间)从官方地址抓取。当天没能抓到的:CCBot(index.commoncrawl.org/ccbot.json),工具对它改为提示反查。

几点说明:Anthropic 三个爬虫共用一份列表【官方】;Googlebot 用的是 Google 常规爬虫列表,不含广告类和用户触发的抓取器;360 官方说明暂不支持反查,只能对 IP 段【官方】。列表会变,判定为冒充的 IP 如果确实来自官方,多半是快照之后新加的网段,到对应的官方地址再查一次即可。

不用工具,怎么自己核验?#

两种办法,详见伪装爬虫一文的 5.2 节:

  • 有官方 IP 列表的,下载列表,看来访 IP 在不在里面;
  • 给了反查域名的,先 host <IP> 看主机名是否在官方域名下(Googlebot 是 googlebot.com、google.com、googleusercontent.com,百度是 baidu.com、baidu.jp),再 host <主机名> 确认解析回同一个 IP。只做第一步不够,反查名可以伪造。

要在 nginx 里直接拦截「UA 自称某爬虫、IP 却不在它的官方段内」的请求,那篇文章的 5.3 节给了按天更新网段的脚本和配置。

能做什么、不能做什么#

能做:识别收录表里 29 个有名字的 AI 与搜索爬虫;比对 IPv4 和 IPv6;认 combined、JSON 和「IP+UA」三种写法;对官方 IP 段、反查、无方法三类分别给结论。

不能做:

  • 浏览器里做不了反向 DNS,只能给出命令;
  • 看不到完全不写爬虫名、伪装成普通浏览器的抓取;
  • 不判断某个 IP 属于哪家网络运营商,也不提供拉黑名单。

想先看这些爬虫各是谁家的、拿去做什么,见 AI 爬虫收录表;想按场景走一遍核验流程,见日志里的 Googlebot 是真的吗。

常见问题#

粘贴的日志会被上传吗?#

不会。解析和比对都在你的浏览器里完成,官方 IP 段在打开页面时已经随页面下载好,页面不向任何服务器发送你粘贴的内容。

判定冒充一定准吗?#

对有官方 IP 列表的爬虫,IP 不在列表里基本可以认定不是官方爬虫;但列表会更新,本页用的是抓取当天的快照,快照之后新增的网段这里看不到。Bingbot 的官方文件生成于 2024-01-03,可能不全,所以对它只给「无法确认」。

为什么百度蜘蛛只显示需要反查?#

百度不公布 IP 段,只给了反查域名(baidu.com、baidu.jp)。浏览器做不了反向 DNS,所以工具给出命令,请在服务器上运行:主机名要在官方域名下,再正向解析回同一个 IP,才算真的。

豆包、千问的爬虫能识别吗?#

不能。截至 2026-11-11,字节跳动和阿里都没有公布豆包、千问专属爬虫的 UA 和 IP;Doubaobot、TongyiBot 这类名字只见于第三方目录。工具对它们显示「无法判断」,不会猜。

日志里的 IP 末段被匿名成 .0 了,还能用吗?#

能,但只能粗判。勾选「IP 末段已匿名」后,所在 /24 与官方网段完全不重合的判定冒充,重合的只能算无法确认。