伪装成 AI 爬虫的请求:怎么识别?本站 15 天抓到 236 次冒充

· 约 23 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 摘要
  2. 1 引言
  3. 2 相关工作
  4. 3 数据与方法
    1. 3.1 数据
    2. 3.2 核验规则
    3. 3.3 计数口径
    4. 3.4 隐私处理
  5. 4 结果
    1. 4.1 总体与按被冒充的爬虫
    2. 4.2 一个 /24 在 23 分钟里冒充了 6 个爬虫
    3. 4.3 冒充 Googlebot 的在扫 WordPress
    4. 4.4 冒充 ChatGPT-User 的在找密钥
    5. 4.5 看着可疑、但不算冒充的
  6. 5 讨论
    1. 5.1 与外部报告对照
    2. 5.2 站长怎么自己核验一个请求
    3. 5.3 nginx 怎么拦冒充者
  7. 6 局限
  8. 7 结论
  9. 常见问题
    1. 怎么判断一个自称 Googlebot 或 GPTBot 的请求是真的?
    2. 冒充爬虫的请求想干什么?
    3. 按 UA 屏蔽能挡住冒充者吗?
    4. 日志里的 IP 匿名了还能核验吗?
  10. 参考文献
  11. 相关页面

摘要#

目的 User-Agent(UA)只是请求里自己写的一行字,任何程序都能自称 Googlebot 或 GPTBot。本文统计一个新站的服务器日志里,有多少「自称爬虫」的请求其实是冒充,冒充者偏爱哪些名字、在找什么。

方法 取 opengeo.page 2026-10-25 至 11-08(北京时间)共 15 天的 nginx 访问日志,筛出 UA 中带有收录表里爬虫名字的请求,按各家官方给出的方法核验:有官方 IP 列表的对照列表,给了反查域名的做反向 DNS 加正向确认;2026-10-29 23:10 之后日志 IP 末段匿名化,只按所在 /24 网段粗判。只把能确认的冒充计入,所得为下限。

结果 15 天里 2,511 次请求自称是收录表里的爬虫,其中至少 236 次是冒充【实测】。被冒充最多的是 Googlebot(190 次),按比例最高的是 Bytespider(2/2)和 ChatGPT-User(9/11)【实测】。冒充者主要在扫 WordPress 接口和找 .env、secrets.json 这类密钥文件;一个 /24 网段曾在 23 分钟里轮换 6 个爬虫名字【实测】。

结论 判断爬虫真假要看 IP,不看 UA。本站规模远小于外部安全公司的样本,但看到的模式一致:冒充者偏爱站长信任的名字,常用官方 UA 原文,只有 IP 对不上【推断】。

关键词:伪装爬虫;User-Agent 伪造;爬虫验证;反向 DNS;官方 IP 段;服务器日志

1 引言#

站长放行 AI 爬虫和搜索引擎爬虫,通常是按 UA 写规则:robots.txt 按名字,防火墙白名单也按名字。但 UA 由请求方自己填写,不能证明身份。如果冒充者借用被信任的名字,按 UA 放行的规则就会把它们一并放进来;按 UA 屏蔽,又会连真爬虫一起挡掉。

本文回答三个问题:

  • RQ1:在一个新站的日志里,自称爬虫的请求有多少能确认是冒充?
  • RQ2:冒充者偏爱哪些爬虫名字,在请求什么?
  • RQ3:站长能用哪些方法核验和拦截?

2 相关工作#

已有几家安全公司从各自客户流量中报告过 AI 爬虫被冒充的现象。以下数字均为第三方数据,本站无法复核其采集过程,记为【C】。

  • HUMAN Security(2025-09-09):分析两周内 16 个知名 AI 爬虫与抓取器的流量,5.7% 自称 AI 爬虫的请求是冒充;被冒充最多的是 ChatGPT-User,约每 6 次就有 1 次是假的。部分冒充者使用与真爬虫相同的自治系统、紧挨着官方段的 IP[1]【C】。
  • GreyNoise(2026-08-28):一批扫描器冒充 8 家公司的 13 个 AI 爬虫,请求 .env、云密钥、私钥等文件;其中 6 个名字来自同样的 824 个地址,没有一个在官方 IP 列表里,也从不请求 /robots.txt。它们的 ClaudeBot UA 与官方逐字一致;带 Google-Extended 名字的 263,849 次会话全部是伪造,因为 Google 不发送这个 UA[2]【C】。
  • Cloudflare(2025-08-04):称在测试域名禁止 Perplexity 后,观察到伪装成 macOS 上 Chrome 浏览器、来自不在 Perplexity 官方段的地址继续访问[3]【C】。这是反方向的情况:真公司换掉自己的 UA。这是 Cloudflare 的单方观察,本文只转述。

这些报告的样本来自大型平台的海量流量。本文补充的是一个小型静态站的完整日志视角:样本小,但每一次请求都能逐条核对。

3 数据与方法#

3.1 数据#

表 1 日志数据概况

项目内容
来源opengeo.page 的 nginx 访问日志(Hugo 静态站,单台服务器)
时间范围2026-10-25 至 2026-11-08(北京时间),共 15 天
统计对象UA 中含收录表所列爬虫名字的请求,共 2,511 次
IP 记录方式2026-10-29 23:10 之前为完整 IP;之后末段记为 .0(匿名化)
不统计UA 中不含爬虫名字的请求(包括伪装成普通浏览器的抓取)

3.2 核验规则#

各家官方给出的核验方法分两类【官方】:一类公布 JSON 格式的 IP 段(OpenAI、Anthropic、Perplexity、Google、Apple、Kimi、腾讯混元、Common Crawl 等),来访 IP 在列表里才算真;另一类给出反查域名(Google、百度、字节、Common Crawl),对 IP 做反向 DNS,主机名要在官方域名下,再正向解析回同一个 IP。各家的反查域名见表 2,IP 列表地址见 5.2 节。

表 2 反向 DNS 核验时,主机名应在的域名

爬虫反查主机名应在依据
Googlebotgooglebot.com、google.com、googleusercontent.com【官方】
Baiduspiderbaidu.com、baidu.jp【官方】
Bytespiderbytedance.com【官方】
CCBotcrawl.commoncrawl.org【官方】
Amazonbotcrawl.amazonbot.amazon【实测】
Bingbotsearch.msn.com(另有官方 Verify Bingbot 工具)【实测】

360Spider 官方说明不支持反查,只能对 IP 段【官方】。

3.3 计数口径#

「确认冒充」只算两种:(1)完整 IP 时段(10-29 23:10 前),IP 不在官方列表、反查也不在官方域名下;(2)匿名时段,所在 /24 与官方段完全不重合。匿名时段 /24 与官方段重合的,以及官方没有给出核验方法的,都不计入,所以 236 是下限。比例=确认冒充 ÷ 自称该爬虫的请求,由作者计算。

3.4 隐私处理#

本文不公开任何访客 IP;冒充者所在网络只写「境外托管网段」这类通用说法,不公开自治系统编号或网络运营商名称。

4 结果#

4.1 总体与按被冒充的爬虫#

2,511 次自称爬虫的请求中,至少 236 次确认为冒充【实测】。表 3 按被冒充的名字列出,图 1、图 2 分别给出次数和比例。

表 3 本站抓到的冒充(2026-10-25 至 11-08)

自称请求确认冒充冒充占比冒充者所在网络特征 【实测】
Googlebot1,61019011.8%境外托管网段,其中一个网段 164 次,其余分散在另外 5 个网段180 次用官方短 UA 原文;请求 /wp-json/、/wordpress/ 等
Baiduspider572849.1%一个境外托管网段的 1 个 IPUA 与官方一字不差,反查不是 baidu.com
ChatGPT-User11981.8%一个境外托管网段(4 个 IP)请求 /.env.production、/secrets.json 等
GPTBot15521.3%一个境外托管网段简化 UA Mozilla/5.0 (compatible; GPTBot/1.0)
ClaudeBot12221.6%一个境外托管网段简化 UA,无官方邮箱
PerplexityBot10220.0%一个境外托管网段简化 UA,无官方网址
Bytespider22100%一个境外托管网段简化 UA,缺 zhanzhang.toutiao.com
Bingbot32310.3%一个境外托管网段简化 UA Mozilla/5.0 (compatible; bingbot/2.0)
横向条形图:确认冒充次数按被冒充的爬虫。Googlebot 190 次,Baiduspider 28 次,ChatGPT-User 9 次,GPTBot、ClaudeBot、PerplexityBot、Bytespider 各 2 次,Bingbot 1 次,合计 236 次,为下限。
图 1 确认冒充次数,按被冒充的爬虫。数据来源:opengeo.page 服务器日志;统计期 2026-10-25 至 11-08(北京时间);口径见 3.3 节。
横向条形图:确认冒充占自称请求的比例。Bytespider 100%(2/2),ChatGPT-User 81.8%(9/11),Baiduspider 49.1%(28/57),PerplexityBot 20.0%(2/10),Googlebot 11.8%(190/1,610),ClaudeBot 1.6%(2/122),GPTBot 1.3%(2/155),Bingbot 0.3%(1/323)。
图 2 确认冒充占自称该爬虫请求的比例。数据来源:opengeo.page 服务器日志,统计期 2026-10-25 至 11-08(北京时间);比例由作者按表 3 计算,样本小的条目(如 Bytespider 仅 2 次)比例波动大。

按次数,Googlebot 一项就占 236 次中的 190 次;按比例,请求量小的名字反而冒充占比更高(Bytespider 2/2、ChatGPT-User 9/11),但这些条目样本只有个位数,比例本身不稳定【推断】。GPTBot、ClaudeBot、Bingbot 的冒充占比都在 2% 以下。

同期核验全部通过的:OAI-SearchBot(完整 IP 27 次)、Applebot(19 次)、Amazonbot(25 次反查到 crawl.amazonbot.amazon)【实测】。GPTBot、ClaudeBot 完整 IP 时段分别是 104/104、92/92 次通过【实测】。

4.2 一个 /24 在 23 分钟里冒充了 6 个爬虫#

2026-11-06 21:57 到 22:20(北京时间),一个境外托管网段里的同一个 /24 先后用 Baiduspider、Bytespider、ClaudeBot、GPTBot、Googlebot、PerplexityBot 六个名字发来 11 次请求,UA 都是 Mozilla/5.0 (compatible; 名字/版本) 这种去掉网址的简化格式,目标全是观测记录 #001【实测】。真爬虫各有固定的 UA 格式和网络,不会这样轮换,这是同一个程序在试哪个名字能进门【推断】。

4.3 冒充 Googlebot 的在扫 WordPress#

190 次冒充 Googlebot 的请求里,最多的路径是首页、/wp-json/、/wordpress/、/news/wp-json/、/cms/?rest_route=/【实测】。本站是 Hugo 静态站,没有这些接口;这是借 Googlebot 的名字找 WordPress 漏洞的扫描【推断】。164 次来自同一个境外托管网段【实测】。

4.4 冒充 ChatGPT-User 的在找密钥#

9 次冒充 ChatGPT-User 的请求来自一个境外托管网段的 4 个 IP,请求 /.env.production、/.env.dist、/.env.sample、/secrets.json 等文件【实测】。真 ChatGPT-User 只在用户让 ChatGPT 读某个网页时才来【官方】,不会去找配置文件。

4.5 看着可疑、但不算冒充的#

  • 360Spider:6 次请求的 UA 都以「User-Agent:」开头,格式不对;但所在 /24 都落在 360 官方公布的 6 个段里【实测】。更像 360 一侧把请求头写错了,本文不算冒充【推断】。
  • Bingbot:匿名时段 22 次的 /24 不在 bingbot.json 里,但都来自微软自己的网络;这份 JSON 本站读取时生成日期是 2024-01-03,可能不全【实测】,记为无法确认。
  • Meta-ExternalAgent:40 次全部来自 Meta 自己的网络,但 Meta 没有给官方核验方法,只能说网络对得上【实测】。
  • YisouSpider:1 次,UA 只有一个词,官方没有核验方法,无法判断。
  • deepseek-harness、dsh-desktop:UA 含 deepseek 的 15 次是工具和客户端,不是在冒充爬虫,也不是爬虫。

5 讨论#

5.1 与外部报告对照#

本站的规模比 HUMAN、GreyNoise 的样本小几个数量级,冒充比例不能直接比较;但模式一致:冒充者偏爱被站长信任的名字(Googlebot、ChatGPT-User),常用官方 UA 原文(180 次冒充 Googlebot 用的是官方短 UA,Baiduspider 一字不差),只有 IP 对不上;冒充者请求的是 WordPress 接口和密钥文件,与 GreyNoise 观察到的扫描行为同类【推断】。

5.2 站长怎么自己核验一个请求#

按「完整 IP / 匿名 IP」分成四种核验结果、每种怎么处理,见场景页日志里的 Googlebot 是真的吗。

方法一:反向 DNS + 正向确认。Google 官方给的步骤(百度、字节、Common Crawl 思路相同,只是域名不同,见表 2)【官方】:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

两步都要做:只看第一步,冒充者可以给自己的 IP 设一个假的反查名;第二步正向解析回同一个 IP,才能确认。

方法二:对照官方 IP 列表。这些公司公布了 JSON 格式的 IP 段,来访 IP 在里面才算真【官方】:

OpenAI     https://openai.com/gptbot.json
           https://openai.com/searchbot.json
           https://openai.com/chatgpt-user.json
Anthropic  https://claude.com/crawling/bots.json
Perplexity https://www.perplexity.ai/perplexitybot.json
           https://www.perplexity.ai/perplexity-user.json
Google     https://developers.google.com/static/crawling/ipranges/common-crawlers.json
Apple      http://search.developer.apple.com/applebot.json
Kimi       https://www.kimi.com/policies/kimibot.json
           https://www.kimi.com/policies/kimi-searchbot.json
           https://www.kimi.com/policies/kimi-user.json
腾讯混元   https://hy.tencent.com/policy/hyspider.json
Common Crawl https://index.commoncrawl.org/ccbot.json

每个名字对应自己的列表,不要混用:OpenAI 的三个爬虫各有一份【官方】。列表会更新,最好每天重新拉取。

方法三:看它在请求什么。真爬虫会请求 /robots.txt,不会去找 .env、/.git/config、/wp-json/ 这类和公开网页无关的路径【推断】。本站的冒充者大多在找这些。

5.3 nginx 怎么拦冒充者#

思路:UA 自称某个爬虫、IP 却不在它的官方段里,就返回 403;真爬虫和普通访客都不受影响。先把官方 JSON 转成 nginx 的 geo 文件,用 cron 每天跑一次:

#!/bin/sh
# /etc/cron.daily/crawler-ranges:拉取官方 IP 段,生成 nginx 可读的文件
set -e
mkdir -p /etc/nginx/ranges
fetch() {  # $1=名字  $2=官方 JSON 地址
  curl -fsS "$2" | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > "/etc/nginx/ranges/$1.conf.new"
  mv "/etc/nginx/ranges/$1.conf.new" "/etc/nginx/ranges/$1.conf"
}
fetch gptbot      https://openai.com/gptbot.json
fetch searchbot   https://openai.com/searchbot.json
fetch chatgptuser https://openai.com/chatgpt-user.json
fetch anthropic   https://claude.com/crawling/bots.json
fetch googlebot   https://developers.google.com/static/crawling/ipranges/common-crawlers.json
nginx -t && systemctl reload nginx
# http {} 里
geo $ip_gptbot      { default 0; include /etc/nginx/ranges/gptbot.conf; }
geo $ip_searchbot   { default 0; include /etc/nginx/ranges/searchbot.conf; }
geo $ip_chatgptuser { default 0; include /etc/nginx/ranges/chatgptuser.conf; }
geo $ip_anthropic   { default 0; include /etc/nginx/ranges/anthropic.conf; }
geo $ip_googlebot   { default 0; include /etc/nginx/ranges/googlebot.conf; }

# UA 自称谁,就拿谁的 IP 段来比;"1:0" = 自称了但 IP 不在段内
map $http_user_agent $claimed_ok {
    default                 "";
    "~*GPTBot"              "1:$ip_gptbot";
    "~*OAI-SearchBot"       "1:$ip_searchbot";
    "~*ChatGPT-User"        "1:$ip_chatgptuser";
    "~*Claude(Bot|-User|-SearchBot)" "1:$ip_anthropic";
    "~*Googlebot"           "1:$ip_googlebot";
}
map $claimed_ok $fake_crawler { default 0; "1:0" 1; }

# server {} 里
if ($fake_crawler) { return 403; }

几点注意:

  • 网站在 CDN 或反向代理后面时,先用 set_real_ip_from 和 real_ip_header 拿到真实来源 IP,否则 geo 比较的是 CDN 的地址,会把真爬虫全拦掉。
  • 官方 IP 段会变。cron 拉取失败时脚本不会覆盖旧文件,但长期不更新会误伤真爬虫。
  • 百度、Bingbot 这类不公布(或不及时更新)IP 段的,nginx 本身做不了反查。可以每天用脚本对日志里自称它们的 IP 做反查,把确认冒充的 IP 写进 deny 名单。
  • 本站目前没有部署这套规则,上面的写法只做过语法层面的核对。

6 局限#

  • 只统计 UA 里带爬虫名字的请求。完全不写爬虫名、伪装成普通浏览器的抓取(Cloudflare 描述的那种),这里看不到。
  • 10-29 23:10 之后 IP 匿名化,只能按 /24 粗判;236 是下限。
  • 只有一台服务器、15 天、一个新站的数据,冒充比例不能推广到别的网站;Bytespider、ChatGPT-User 等条目只有个位数请求,比例波动大。
  • 日志按天轮转,统计期内的原始日志已不完整保留,本文不再给出按日分布。
  • 本文不公开任何访客 IP,也不公开冒充者所在网络的自治系统编号或运营商名称。

7 结论#

(RQ1)15 天里 2,511 次自称爬虫的请求中,至少 236 次能确认是冒充。(RQ2)被冒充最多的是 Googlebot,冒充者主要在扫 WordPress 接口、找密钥文件,并会在短时间内轮换多个爬虫名字。(RQ3)核验要看 IP 而不是 UA:对照官方 IP 列表,或做反向 DNS 加正向确认;拦截要把 UA 和官方 IP 段放在一起判断。

常见问题#

怎么判断一个自称 Googlebot 或 GPTBot 的请求是真的?#

看 IP,不看 UA。有官方 IP 列表的(OpenAI、Anthropic、Perplexity、Google、Apple、Kimi、腾讯混元等),看来访 IP 是否在列表里;给了反查域名的(Google、百度、字节、Common Crawl),对 IP 做反向 DNS,主机名要在官方域名下,再正向解析回同一个 IP。

冒充爬虫的请求想干什么?#

本站看到的主要有三种:扫描 WordPress 接口,找 .env、secrets.json 这类密钥文件,以及抓取正文。安全公司 GreyNoise 的报告也记录了冒充 AI 爬虫找密钥文件的扫描器。

按 UA 屏蔽能挡住冒充者吗?#

挡不住想挡的那部分。按 UA 屏蔽会同时挡掉真爬虫,而冒充者换个 UA 就进来了。要拦冒充者,得用 UA 加官方 IP 段一起判断。

日志里的 IP 匿名了还能核验吗?#

只能粗略核验。本站 10-29 23:10 之后 IP 末段记为 .0,只能看所在 /24 是否与官方段重合:不重合可以确认是冒充,重合不能确认是真的。

参考文献#

[1] KAISERMAN A. AI crawler spoofing exposed: how attackers masquerade as ChatGPT, Mistral, and Perplexity[EB/OL]. HUMAN Security, (2025-09-09)[2026-11-11]. https://www.humansecurity.com/learn/blog/ai-crawler-spoofing-chatgpt-mistral-perplexity.

[2] GreyNoise. Threat actors are posing as OpenAI, Anthropic and DeepSeek to target credentials and secrets[EB/OL]. (2026-08-28)[2026-11-11]. https://www.greynoise.io/blog/threat-actors-posing-as-ai-crawlers.

[3] CORRAL G, SINGHAL V, MITCHELL B, et al. Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives[EB/OL]. Cloudflare Blog, (2025-08-04)[2026-11-11]. https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/.