伪装成 AI 爬虫的请求:怎么识别?本站 15 天抓到 236 次冒充
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
摘要#
目的 User-Agent(UA)只是请求里自己写的一行字,任何程序都能自称 Googlebot 或 GPTBot。本文统计一个新站的服务器日志里,有多少「自称爬虫」的请求其实是冒充,冒充者偏爱哪些名字、在找什么。
方法 取 opengeo.page 2026-10-25 至 11-08(北京时间)共 15 天的 nginx 访问日志,筛出 UA 中带有收录表里爬虫名字的请求,按各家官方给出的方法核验:有官方 IP 列表的对照列表,给了反查域名的做反向 DNS 加正向确认;2026-10-29 23:10 之后日志 IP 末段匿名化,只按所在 /24 网段粗判。只把能确认的冒充计入,所得为下限。
结果 15 天里 2,511 次请求自称是收录表里的爬虫,其中至少 236 次是冒充【实测】。被冒充最多的是 Googlebot(190 次),按比例最高的是 Bytespider(2/2)和 ChatGPT-User(9/11)【实测】。冒充者主要在扫 WordPress 接口和找 .env、secrets.json 这类密钥文件;一个 /24 网段曾在 23 分钟里轮换 6 个爬虫名字【实测】。
结论 判断爬虫真假要看 IP,不看 UA。本站规模远小于外部安全公司的样本,但看到的模式一致:冒充者偏爱站长信任的名字,常用官方 UA 原文,只有 IP 对不上【推断】。
关键词:伪装爬虫;User-Agent 伪造;爬虫验证;反向 DNS;官方 IP 段;服务器日志
1 引言#
站长放行 AI 爬虫和搜索引擎爬虫,通常是按 UA 写规则:robots.txt 按名字,防火墙白名单也按名字。但 UA 由请求方自己填写,不能证明身份。如果冒充者借用被信任的名字,按 UA 放行的规则就会把它们一并放进来;按 UA 屏蔽,又会连真爬虫一起挡掉。
本文回答三个问题:
- RQ1:在一个新站的日志里,自称爬虫的请求有多少能确认是冒充?
- RQ2:冒充者偏爱哪些爬虫名字,在请求什么?
- RQ3:站长能用哪些方法核验和拦截?
2 相关工作#
已有几家安全公司从各自客户流量中报告过 AI 爬虫被冒充的现象。以下数字均为第三方数据,本站无法复核其采集过程,记为【C】。
- HUMAN Security(2025-09-09):分析两周内 16 个知名 AI 爬虫与抓取器的流量,5.7% 自称 AI 爬虫的请求是冒充;被冒充最多的是 ChatGPT-User,约每 6 次就有 1 次是假的。部分冒充者使用与真爬虫相同的自治系统、紧挨着官方段的 IP[1]【C】。
- GreyNoise(2026-08-28):一批扫描器冒充 8 家公司的 13 个 AI 爬虫,请求
.env、云密钥、私钥等文件;其中 6 个名字来自同样的 824 个地址,没有一个在官方 IP 列表里,也从不请求 /robots.txt。它们的 ClaudeBot UA 与官方逐字一致;带 Google-Extended 名字的 263,849 次会话全部是伪造,因为 Google 不发送这个 UA[2]【C】。 - Cloudflare(2025-08-04):称在测试域名禁止 Perplexity 后,观察到伪装成 macOS 上 Chrome 浏览器、来自不在 Perplexity 官方段的地址继续访问[3]【C】。这是反方向的情况:真公司换掉自己的 UA。这是 Cloudflare 的单方观察,本文只转述。
这些报告的样本来自大型平台的海量流量。本文补充的是一个小型静态站的完整日志视角:样本小,但每一次请求都能逐条核对。
3 数据与方法#
3.1 数据#
表 1 日志数据概况
| 项目 | 内容 |
|---|---|
| 来源 | opengeo.page 的 nginx 访问日志(Hugo 静态站,单台服务器) |
| 时间范围 | 2026-10-25 至 2026-11-08(北京时间),共 15 天 |
| 统计对象 | UA 中含收录表所列爬虫名字的请求,共 2,511 次 |
| IP 记录方式 | 2026-10-29 23:10 之前为完整 IP;之后末段记为 .0(匿名化) |
| 不统计 | UA 中不含爬虫名字的请求(包括伪装成普通浏览器的抓取) |
3.2 核验规则#
各家官方给出的核验方法分两类【官方】:一类公布 JSON 格式的 IP 段(OpenAI、Anthropic、Perplexity、Google、Apple、Kimi、腾讯混元、Common Crawl 等),来访 IP 在列表里才算真;另一类给出反查域名(Google、百度、字节、Common Crawl),对 IP 做反向 DNS,主机名要在官方域名下,再正向解析回同一个 IP。各家的反查域名见表 2,IP 列表地址见 5.2 节。
表 2 反向 DNS 核验时,主机名应在的域名
| 爬虫 | 反查主机名应在 | 依据 |
|---|---|---|
| Googlebot | googlebot.com、google.com、googleusercontent.com | 【官方】 |
| Baiduspider | baidu.com、baidu.jp | 【官方】 |
| Bytespider | bytedance.com | 【官方】 |
| CCBot | crawl.commoncrawl.org | 【官方】 |
| Amazonbot | crawl.amazonbot.amazon | 【实测】 |
| Bingbot | search.msn.com(另有官方 Verify Bingbot 工具) | 【实测】 |
360Spider 官方说明不支持反查,只能对 IP 段【官方】。
3.3 计数口径#
「确认冒充」只算两种:(1)完整 IP 时段(10-29 23:10 前),IP 不在官方列表、反查也不在官方域名下;(2)匿名时段,所在 /24 与官方段完全不重合。匿名时段 /24 与官方段重合的,以及官方没有给出核验方法的,都不计入,所以 236 是下限。比例=确认冒充 ÷ 自称该爬虫的请求,由作者计算。
3.4 隐私处理#
本文不公开任何访客 IP;冒充者所在网络只写「境外托管网段」这类通用说法,不公开自治系统编号或网络运营商名称。
4 结果#
4.1 总体与按被冒充的爬虫#
2,511 次自称爬虫的请求中,至少 236 次确认为冒充【实测】。表 3 按被冒充的名字列出,图 1、图 2 分别给出次数和比例。
表 3 本站抓到的冒充(2026-10-25 至 11-08)
| 自称 | 请求 | 确认冒充 | 冒充占比 | 冒充者所在网络 | 特征 【实测】 |
|---|---|---|---|---|---|
| Googlebot | 1,610 | 190 | 11.8% | 境外托管网段,其中一个网段 164 次,其余分散在另外 5 个网段 | 180 次用官方短 UA 原文;请求 /wp-json/、/wordpress/ 等 |
| Baiduspider | 57 | 28 | 49.1% | 一个境外托管网段的 1 个 IP | UA 与官方一字不差,反查不是 baidu.com |
| ChatGPT-User | 11 | 9 | 81.8% | 一个境外托管网段(4 个 IP) | 请求 /.env.production、/secrets.json 等 |
| GPTBot | 155 | 2 | 1.3% | 一个境外托管网段 | 简化 UA Mozilla/5.0 (compatible; GPTBot/1.0) |
| ClaudeBot | 122 | 2 | 1.6% | 一个境外托管网段 | 简化 UA,无官方邮箱 |
| PerplexityBot | 10 | 2 | 20.0% | 一个境外托管网段 | 简化 UA,无官方网址 |
| Bytespider | 2 | 2 | 100% | 一个境外托管网段 | 简化 UA,缺 zhanzhang.toutiao.com |
| Bingbot | 323 | 1 | 0.3% | 一个境外托管网段 | 简化 UA Mozilla/5.0 (compatible; bingbot/2.0) |
按次数,Googlebot 一项就占 236 次中的 190 次;按比例,请求量小的名字反而冒充占比更高(Bytespider 2/2、ChatGPT-User 9/11),但这些条目样本只有个位数,比例本身不稳定【推断】。GPTBot、ClaudeBot、Bingbot 的冒充占比都在 2% 以下。
同期核验全部通过的:OAI-SearchBot(完整 IP 27 次)、Applebot(19 次)、Amazonbot(25 次反查到 crawl.amazonbot.amazon)【实测】。GPTBot、ClaudeBot 完整 IP 时段分别是 104/104、92/92 次通过【实测】。
4.2 一个 /24 在 23 分钟里冒充了 6 个爬虫#
2026-11-06 21:57 到 22:20(北京时间),一个境外托管网段里的同一个 /24 先后用 Baiduspider、Bytespider、ClaudeBot、GPTBot、Googlebot、PerplexityBot 六个名字发来 11 次请求,UA 都是 Mozilla/5.0 (compatible; 名字/版本) 这种去掉网址的简化格式,目标全是观测记录 #001【实测】。真爬虫各有固定的 UA 格式和网络,不会这样轮换,这是同一个程序在试哪个名字能进门【推断】。
4.3 冒充 Googlebot 的在扫 WordPress#
190 次冒充 Googlebot 的请求里,最多的路径是首页、/wp-json/、/wordpress/、/news/wp-json/、/cms/?rest_route=/【实测】。本站是 Hugo 静态站,没有这些接口;这是借 Googlebot 的名字找 WordPress 漏洞的扫描【推断】。164 次来自同一个境外托管网段【实测】。
4.4 冒充 ChatGPT-User 的在找密钥#
9 次冒充 ChatGPT-User 的请求来自一个境外托管网段的 4 个 IP,请求 /.env.production、/.env.dist、/.env.sample、/secrets.json 等文件【实测】。真 ChatGPT-User 只在用户让 ChatGPT 读某个网页时才来【官方】,不会去找配置文件。
4.5 看着可疑、但不算冒充的#
- 360Spider:6 次请求的 UA 都以「User-Agent:」开头,格式不对;但所在 /24 都落在 360 官方公布的 6 个段里【实测】。更像 360 一侧把请求头写错了,本文不算冒充【推断】。
- Bingbot:匿名时段 22 次的 /24 不在 bingbot.json 里,但都来自微软自己的网络;这份 JSON 本站读取时生成日期是 2024-01-03,可能不全【实测】,记为无法确认。
- Meta-ExternalAgent:40 次全部来自 Meta 自己的网络,但 Meta 没有给官方核验方法,只能说网络对得上【实测】。
- YisouSpider:1 次,UA 只有一个词,官方没有核验方法,无法判断。
- deepseek-harness、dsh-desktop:UA 含 deepseek 的 15 次是工具和客户端,不是在冒充爬虫,也不是爬虫。
5 讨论#
5.1 与外部报告对照#
本站的规模比 HUMAN、GreyNoise 的样本小几个数量级,冒充比例不能直接比较;但模式一致:冒充者偏爱被站长信任的名字(Googlebot、ChatGPT-User),常用官方 UA 原文(180 次冒充 Googlebot 用的是官方短 UA,Baiduspider 一字不差),只有 IP 对不上;冒充者请求的是 WordPress 接口和密钥文件,与 GreyNoise 观察到的扫描行为同类【推断】。
5.2 站长怎么自己核验一个请求#
按「完整 IP / 匿名 IP」分成四种核验结果、每种怎么处理,见场景页日志里的 Googlebot 是真的吗。
方法一:反向 DNS + 正向确认。Google 官方给的步骤(百度、字节、Common Crawl 思路相同,只是域名不同,见表 2)【官方】:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1
两步都要做:只看第一步,冒充者可以给自己的 IP 设一个假的反查名;第二步正向解析回同一个 IP,才能确认。
方法二:对照官方 IP 列表。这些公司公布了 JSON 格式的 IP 段,来访 IP 在里面才算真【官方】:
OpenAI https://openai.com/gptbot.json
https://openai.com/searchbot.json
https://openai.com/chatgpt-user.json
Anthropic https://claude.com/crawling/bots.json
Perplexity https://www.perplexity.ai/perplexitybot.json
https://www.perplexity.ai/perplexity-user.json
Google https://developers.google.com/static/crawling/ipranges/common-crawlers.json
Apple http://search.developer.apple.com/applebot.json
Kimi https://www.kimi.com/policies/kimibot.json
https://www.kimi.com/policies/kimi-searchbot.json
https://www.kimi.com/policies/kimi-user.json
腾讯混元 https://hy.tencent.com/policy/hyspider.json
Common Crawl https://index.commoncrawl.org/ccbot.json
每个名字对应自己的列表,不要混用:OpenAI 的三个爬虫各有一份【官方】。列表会更新,最好每天重新拉取。
方法三:看它在请求什么。真爬虫会请求 /robots.txt,不会去找 .env、/.git/config、/wp-json/ 这类和公开网页无关的路径【推断】。本站的冒充者大多在找这些。
5.3 nginx 怎么拦冒充者#
思路:UA 自称某个爬虫、IP 却不在它的官方段里,就返回 403;真爬虫和普通访客都不受影响。先把官方 JSON 转成 nginx 的 geo 文件,用 cron 每天跑一次:
#!/bin/sh
# /etc/cron.daily/crawler-ranges:拉取官方 IP 段,生成 nginx 可读的文件
set -e
mkdir -p /etc/nginx/ranges
fetch() { # $1=名字 $2=官方 JSON 地址
curl -fsS "$2" | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > "/etc/nginx/ranges/$1.conf.new"
mv "/etc/nginx/ranges/$1.conf.new" "/etc/nginx/ranges/$1.conf"
}
fetch gptbot https://openai.com/gptbot.json
fetch searchbot https://openai.com/searchbot.json
fetch chatgptuser https://openai.com/chatgpt-user.json
fetch anthropic https://claude.com/crawling/bots.json
fetch googlebot https://developers.google.com/static/crawling/ipranges/common-crawlers.json
nginx -t && systemctl reload nginx
# http {} 里
geo $ip_gptbot { default 0; include /etc/nginx/ranges/gptbot.conf; }
geo $ip_searchbot { default 0; include /etc/nginx/ranges/searchbot.conf; }
geo $ip_chatgptuser { default 0; include /etc/nginx/ranges/chatgptuser.conf; }
geo $ip_anthropic { default 0; include /etc/nginx/ranges/anthropic.conf; }
geo $ip_googlebot { default 0; include /etc/nginx/ranges/googlebot.conf; }
# UA 自称谁,就拿谁的 IP 段来比;"1:0" = 自称了但 IP 不在段内
map $http_user_agent $claimed_ok {
default "";
"~*GPTBot" "1:$ip_gptbot";
"~*OAI-SearchBot" "1:$ip_searchbot";
"~*ChatGPT-User" "1:$ip_chatgptuser";
"~*Claude(Bot|-User|-SearchBot)" "1:$ip_anthropic";
"~*Googlebot" "1:$ip_googlebot";
}
map $claimed_ok $fake_crawler { default 0; "1:0" 1; }
# server {} 里
if ($fake_crawler) { return 403; }
几点注意:
- 网站在 CDN 或反向代理后面时,先用
set_real_ip_from和real_ip_header拿到真实来源 IP,否则 geo 比较的是 CDN 的地址,会把真爬虫全拦掉。 - 官方 IP 段会变。cron 拉取失败时脚本不会覆盖旧文件,但长期不更新会误伤真爬虫。
- 百度、Bingbot 这类不公布(或不及时更新)IP 段的,nginx 本身做不了反查。可以每天用脚本对日志里自称它们的 IP 做反查,把确认冒充的 IP 写进
deny名单。 - 本站目前没有部署这套规则,上面的写法只做过语法层面的核对。
6 局限#
- 只统计 UA 里带爬虫名字的请求。完全不写爬虫名、伪装成普通浏览器的抓取(Cloudflare 描述的那种),这里看不到。
- 10-29 23:10 之后 IP 匿名化,只能按 /24 粗判;236 是下限。
- 只有一台服务器、15 天、一个新站的数据,冒充比例不能推广到别的网站;Bytespider、ChatGPT-User 等条目只有个位数请求,比例波动大。
- 日志按天轮转,统计期内的原始日志已不完整保留,本文不再给出按日分布。
- 本文不公开任何访客 IP,也不公开冒充者所在网络的自治系统编号或运营商名称。
7 结论#
(RQ1)15 天里 2,511 次自称爬虫的请求中,至少 236 次能确认是冒充。(RQ2)被冒充最多的是 Googlebot,冒充者主要在扫 WordPress 接口、找密钥文件,并会在短时间内轮换多个爬虫名字。(RQ3)核验要看 IP 而不是 UA:对照官方 IP 列表,或做反向 DNS 加正向确认;拦截要把 UA 和官方 IP 段放在一起判断。
常见问题#
怎么判断一个自称 Googlebot 或 GPTBot 的请求是真的?#
看 IP,不看 UA。有官方 IP 列表的(OpenAI、Anthropic、Perplexity、Google、Apple、Kimi、腾讯混元等),看来访 IP 是否在列表里;给了反查域名的(Google、百度、字节、Common Crawl),对 IP 做反向 DNS,主机名要在官方域名下,再正向解析回同一个 IP。
冒充爬虫的请求想干什么?#
本站看到的主要有三种:扫描 WordPress 接口,找 .env、secrets.json 这类密钥文件,以及抓取正文。安全公司 GreyNoise 的报告也记录了冒充 AI 爬虫找密钥文件的扫描器。
按 UA 屏蔽能挡住冒充者吗?#
挡不住想挡的那部分。按 UA 屏蔽会同时挡掉真爬虫,而冒充者换个 UA 就进来了。要拦冒充者,得用 UA 加官方 IP 段一起判断。
日志里的 IP 匿名了还能核验吗?#
只能粗略核验。本站 10-29 23:10 之后 IP 末段记为 .0,只能看所在 /24 是否与官方段重合:不重合可以确认是冒充,重合不能确认是真的。
参考文献#
[1] KAISERMAN A. AI crawler spoofing exposed: how attackers masquerade as ChatGPT, Mistral, and Perplexity[EB/OL]. HUMAN Security, (2025-09-09)[2026-11-11]. https://www.humansecurity.com/learn/blog/ai-crawler-spoofing-chatgpt-mistral-perplexity.
[2] GreyNoise. Threat actors are posing as OpenAI, Anthropic and DeepSeek to target credentials and secrets[EB/OL]. (2026-08-28)[2026-11-11]. https://www.greynoise.io/blog/threat-actors-posing-as-ai-crawlers.
[3] CORRAL G, SINGHAL V, MITCHELL B, et al. Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives[EB/OL]. Cloudflare Blog, (2025-08-04)[2026-11-11]. https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/.