站长想知道 AI 爬虫来没来:翻 nginx 日志就能查清,附本站 14 天实测
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。
目录
一句话结论:想知道 AI 爬虫来没来,不用装任何服务,翻服务器访问日志、按 UA 里的名字数一遍就有答案。本站 opengeo.page 14 天的日志里,GPTBot 来了 116 次、ClaudeBot 110 次,OAI-SearchBot 来了 56 次却全在读 robots.txt;Kimi 的三个爬虫一次都没来,豆包、DeepSeek、通义则根本没有公开的爬虫名字可查【实测】。
谁会遇到这个问题?#
典型的情况是这样的:网站刚上线或刚改版,你听说「GEO」要先让 AI 爬虫能抓到内容,于是开始担心——GPTBot 来过吗?豆包会不会来?是不是 robots.txt 写错了把它们挡在外面?
这个问题看起来要专门的监测工具,其实答案就在你自己的服务器上。每一次请求都会在访问日志里留下一行,其中的 User-Agent(UA)就是来访者自报的名字。把这些名字和公开的爬虫名单对一遍,就知道谁来了、来了几次、读了哪些页面。
需要提醒的一点:UA 是来访者自己写的,可以冒充。所以数出来的是「自称」的次数,要确认真假还得看 IP(见下文第 4 步)。
本站 14 天的答案#
下面是 opengeo.page 自己的日志,范围 2026-10-26 00:10 至 11-08 21:22(北京时间),共 14,952 次请求,只统计本站,不含同一台服务器上的其他网站【实测】。按 UA 子串不区分大小写计数,冒充者也算在内。
| 爬虫 | 用途 | 请求 | 出现天数 | 主要在读什么 |
|---|---|---|---|---|
| GPTBot | 训练 | 116 | 14 | sitemap.xml 13 次,其余是首页和文章 |
| ClaudeBot | 训练 | 110 | 6 | robots.txt 21 次、sitemap.xml 20 次 |
| OAI-SearchBot | AI 搜索索引 | 56 | 14 | 全部是 robots.txt |
| Amazonbot | 训练 | 48 | 6 | 分散在各页,14 次返回 4xx |
| Meta-ExternalAgent | 训练 | 40 | 1 | 一天内集中抓取,含 llms.txt |
| PerplexityBot | AI 搜索索引 | 10 | 4 | robots.txt 3 次,观测记录 #001 5 次 |
| ChatGPT-User | 用户触发 | 2 | 2 | 首页 |
| Googlebot | 搜索引擎 | 1,100 | 14 | robots.txt 278 次;416 次碰到已退役地址(返回 410) |
| Bingbot | 搜索引擎 | 267 | 14 | 首页 37 次,sitemap 与 robots 各 15 次 |
| Baiduspider | 搜索引擎 | 57 | 5 | 首页 9 次,#001 中英文版 6 次 |
| Applebot | 搜索引擎 | 32 | 5 | robots.txt 7 次 |
| Kimi 三个爬虫、HySpider、CCBot、Claude-SearchBot | 各类 | 0 | 0 | — |
同期全服务器(含其他网站)的计数见 AI 爬虫收录表,数字比本表大。按官方 IP 核验,同期至少 236 次请求是冒充,例如两次「Bytespider」都不是字节的,见伪装爬虫。
这张表最容易读错的三处#
「来了」不等于「抓了内容」。OAI-SearchBot 每天都来,56 次全是读 robots.txt,一次网页都没取【实测】。它为什么只读规则,OpenAI 没有说明【未知】。如果只数次数,会以为 ChatGPT 搜索已经收录了全站。
没有名字,就数不到。豆包、DeepSeek、通义千问都没有公开 AI 爬虫【官方】。它们回答时用的网页,多来自背后的搜索引擎或自家内容平台【推断】。所以「日志里没有豆包」不能说明豆包看不到你,要看的是 Bytespider、Baiduspider、YisouSpider 这类搜索引擎爬虫,以及 AI 回答到底引用了谁。
大量 4xx 不一定是坏事。Googlebot 的 1,100 次里有 416 次碰到 410,集中在 /tags/、/platforms/、/columns/ 等 2026-10-29 清理时退役的旧栏目【实测】。这是搜索引擎在确认旧地址已下线,按设计返回 410 就是为了让它们尽快放弃这些地址【推断】。
自己怎么查?#
下面以 nginx 默认的 combined 日志格式为例;宝塔、Apache 的日志也是一行一次请求,命令基本通用。
第 1 步:找到日志#
nginx 通常在 /var/log/nginx/access.log,按天轮转出 access.log.1、access.log.2.gz……宝塔面板一般在 /www/wwwlogs/你的域名.log。至少拿两周的量:本站 ClaudeBot 只在 14 天里的 6 天出现,Meta-ExternalAgent 的 40 次集中在 1 天【实测】,只看一两天很容易漏。
第 2 步:按名字数次数#
# 把轮转的压缩日志一起读;名字表可以从 /tools/crawlers/crawlers.yaml 取
zcat -f /var/log/nginx/access.log* | grep -o -i -E \
'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|KimiBot|Kimi-SearchBot|Kimi-User|Bytespider|Baiduspider|YisouSpider|Amazonbot|meta-externalagent|Applebot|bingbot|Googlebot' \
| tr 'A-Z' 'a-z' | sort | uniq -c | sort -rn
完整的 29 个名字和它们的 UA 原文在 AI 爬虫收录表,数据文件 crawlers.yaml 可以直接下载。
第 3 步:看它读了什么#
# 某个爬虫请求最多的 20 个路径(combined 格式下第 7 列是路径)
zcat -f /var/log/nginx/access.log* | grep -i 'GPTBot' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
重点看三类路径:robots.txt(它在确认规则)、sitemap.xml(它在找新页面)、你的正文页(它真的在取内容)。只出现前两类,说明它来过但没取内容。
第 4 步:挑几条核验真假#
UA 可以随便写。拿到可疑的 IP 后,做反向 DNS 再正向确认,或者对照官方公布的 IP 段;具体步骤见日志里的 Googlebot 是真的吗。
第 5 步:确认 robots.txt 没挡错#
如果某个你想要的爬虫一次都没来,先排除自己挡住了它:把 robots.txt 粘进 robots.txt 检查器,看它对首页和正文路径是放行还是屏蔽。
查完之后做什么?#
- 想让 AI 搜索抓、不想被拿去训练:照只放行 AI 搜索、屏蔽训练改 robots.txt。
- 发现大量冒充请求:按 伪装爬虫里的 nginx 写法,用 UA 加官方 IP 段一起拦。
- 想知道爬虫来过之后 AI 有没有引用你:去 AI 助手里问几个和你业务相关的问题,把引用列表粘进 AI 引用来源计数器。
常见问题#
日志里一次 GPTBot 都没有,是不是 AI 搜不到我?#
不一定。GPTBot 是 OpenAI 的训练爬虫,和 ChatGPT 搜索用的 OAI-SearchBot 是两回事;国产 AI 助手大多没有公开自己的爬虫,回答时用的是背后搜索引擎的结果。日志里没有 AI 爬虫,只能说明它们没直接来抓,不能说明 AI 回答里不会出现你。
OAI-SearchBot 只读 robots.txt 不读网页,正常吗?#
本站 14 天里 OAI-SearchBot 来了 56 次,全部是读 robots.txt,一个网页都没抓。为什么只读规则不抓内容,OpenAI 没有说明,本站数据也判断不了。
要查多久的日志才够?#
至少两周。本站 ClaudeBot 只在 14 天里的 6 天出现过,Meta-ExternalAgent 的 40 次集中在 1 天。只看一两天,很容易得出「没来」的错误结论。
用了 CDN,日志里还能看到爬虫吗?#
能看到 UA,但看到的 IP 可能是 CDN 的。要核验真假,需要在 CDN 或源站把真实来源 IP 记下来,否则只能按 UA 粗数。
数据口径与局限#
- 只有一个网站、14 天、一个刚上线不久的观测站,访问量小,不能代表其他网站会看到的比例。
- 按 UA 子串计数,含冒充者;没有在 UA 里写爬虫名字的抓取(伪装成普通浏览器的)这里数不到。
- 统计只读取了日志里的时间、路径、状态码和 UA 名字,没有公开任何访客 IP。