AI 爬虫 robots.txt 检查器:GPTBot、ClaudeBot、Kimi 等 29 个爬虫逐个看放行还是屏蔽
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。
目录
只在你的浏览器里解析,粘贴的内容不会上传,也不会去抓任何网站的 robots.txt。爬虫名单与 AI 爬虫收录表相同(29 个有名字的条目)。
一句话说明:粘贴一份 robots.txt,检查器会按 AI 爬虫收录表里 29 个有名字的爬虫,逐个算出它们对你填的路径是放行还是屏蔽,并指出依据的是第几行。打开页面时填的是本站 opengeo.page 自己的 robots.txt,结果是 29 个全部放行【实测】。
为什么要单独检查 AI 爬虫?#
robots.txt 的写法看着简单,出错却很常见,而且错了没有任何提示:爬虫不会告诉你它读懂了哪一行。和 AI 爬虫有关的坑主要有三类:
- 以为
*管所有人。某个爬虫只要有自己的一组,就只看那一组,*组对它完全无效【官方】。 - 训练和搜索是两个名字。OpenAI 训练用 GPTBot、搜索用 OAI-SearchBot,Anthropic、月之暗面也是分开的【官方】。只屏蔽一个,另一个照常来。
- 名字写错或已经不存在。网上流传的一些名字(例如 Doubaobot、TongyiBot)没有官方出处【推断】,写了也不一定有人看。
这个检查器把「这一份 robots.txt 对每个爬虫到底意味着什么」直接算出来,省去对着规范一行行推。
怎么用?#
- 1在浏览器里打开你的域名加 /robots.txt,全选复制,粘贴到上面的框里(本页不会替你去抓)。
- 2在「检查路径」里填想确认的地址,例如 / 或 /blog/2026/xxx.html;结果随输入实时更新。
- 3按用途分组看结果:训练、AI 搜索索引、用户触发、搜索引擎。点爬虫名可以看它的官方文档、UA 原文和本站日志计数。
- 4想改成「只放行 AI 搜索、屏蔽训练」,点模板按钮,复制改好的内容回你的网站,再粘贴回来复查一遍。
框下方的「写法提示」会列出检查器发现的问题,例如规则写在 User-agent 之前、指令拼错(Dissallow)、路径不以 / 开头、空的 Allow。
检查器按什么规则判断?#
实现依据 RFC 9309(2022 年发布的 robots.txt 标准)和 Google 的 robots.txt 说明【官方】:
| 规则 | 检查器的做法 |
|---|---|
| 分组 | 连续的 User-agent 行是一组,后面的 Allow / Disallow 属于这一组;规则之后再出现 User-agent 就是新的一组;Sitemap 行不影响分组 |
| 选组 | 名字不区分大小写,/2.1 这样的版本号忽略。完全同名的组优先;没有时按 Google 的做法,用名字开头相同的组(googlebot 组也管 Googlebot-News);都没有才用 * 组 |
| 同名多组 | 同一个名字出现在几组里,规则合并 |
| 规则匹配 | 路径从头开始比,区分大小写;* 匹配任意字符,结尾的 $ 表示到此为止 |
| 冲突 | 取最长(最具体)的规则;Allow 和 Disallow 一样长时,Allow 优先 |
| 特殊情况 | 空的 Disallow: 不算规则;没有任何适用的组就全部放行;/robots.txt 本身总是可以读 |
| 编码 | 中文路径与 %E8%A7%82 这样的百分号编码视为相同 |
前缀匹配是 Google 的做法,RFC 9309 只要求名字匹配,其他爬虫是否这样处理没有统一说法【推断】;结果里会写明是「匹配到」还是「按名字前缀匹配到」。这些规则写成了 19 个单元测试,用例取自 RFC 9309 和 Google 文档里的示例,全部通过后才发布。
本站 robots.txt 的检查结果#
opengeo.page 的 robots.txt 分两组:* 组,以及把 20 个 AI 与搜索爬虫的名字单独列出来的一组,两组规则相同,都是放行全站、只挡 /admin/ 等三个后台路径【实测】。检查结果:
| 用途 | 爬虫数 | 检查 / 的结果 | 检查 /admin/ 的结果 |
|---|---|---|---|
| 训练 | 9 | 全部放行 | 全部屏蔽 |
| AI 搜索索引 | 4 | 全部放行 | 全部屏蔽 |
| 用户触发 | 4 | 全部放行 | 全部屏蔽 |
| 搜索引擎 | 9 | 全部放行 | 全部屏蔽 |
| 用途未知(只见于第三方) | 3 | 全部放行 | 全部屏蔽 |
Googlebot、Bingbot、Applebot、Kimi 的三个爬虫、HySpider、PetalBot 和 3 个只见于第三方的名字没有被单独列出,用的是 * 组,结果相同【实测】。本站是公开的观测站,选择欢迎所有爬虫,这是本站的取舍,不是建议。
点「换成模板」后,训练类 9 个变为屏蔽,其余 20 个仍是放行。按本站 2026-10-26 至 11-08 的日志,自称这 9 个训练爬虫的请求共 314 次(GPTBot 116、ClaudeBot 110、Amazonbot 48、Meta-ExternalAgent 40),这就是如果当时用了模板、会被要求停下的量;自称 AI 搜索类的 66 次照常【实测】。计数按 UA 自称,含冒充,见伪装爬虫。
「只放行 AI 搜索、屏蔽训练」模板#
模板由收录表数据生成:用途为「训练」的 9 个名字写在第一组 Disallow: /,AI 搜索、用户触发和搜索引擎的 17 个写在第二组 Allow: /,最后 * 组放行。和收录表里手写的版本相比,它多了 Amazonbot:Amazon 官方说 Amazonbot 抓的内容「可能用于训练」【官方】,但它不只用于训练,收录表的手写版没有把它放进训练组,要不要挡请自己判断。
几点限制:
- Google-Extended、Applebot-Extended 只是写在 robots.txt 里的名字,没有自己的 UA,日志里永远看不到它们【官方】;
- 用户触发类(ChatGPT-User、Perplexity-User、Kimi-User)多数官方说 robots.txt 可能不适用【官方】;
- 豆包、DeepSeek、通义没有公开名字,模板管不到它们【推断】。
完整的场景说明见只想被 AI 搜索引用、不想被拿去训练。
能做什么、不能做什么#
能做:解析任意 robots.txt 文本;对一个路径逐个判断 29 个爬虫;标出依据的组和规则行;提示常见写法问题;生成训练屏蔽模板。
不能做:不抓取线上文件;不检查 nginx、CDN 或防火墙层面的拦截(那些比 robots.txt 更硬);不判断某个请求是不是真爬虫(见日志里的 Googlebot 是真的吗);不管 <meta name="robots"> 和 X-Robots-Tag。
常见问题#
这个检查器会去抓我网站的 robots.txt 吗?#
不会。它只解析你粘贴进来的文字,计算在浏览器里完成,不向任何网站发请求。要检查线上的文件,请在浏览器里打开 你的域名/robots.txt,复制全文再粘贴。
为什么我写了 User-agent: * 的屏蔽,GPTBot 还是显示放行?#
因为 robots.txt 里只要有一组写明了 GPTBot,GPTBot 就只看那一组,完全不看 * 组。如果那一组里只有 Allow 或者没有命中的规则,结果就是放行。* 组只对没有专属组的爬虫生效。
检查结果显示屏蔽,就代表爬虫一定不会来吗?#
不代表。robots.txt 是请求,不是门锁。官方文档里,Perplexity-User 说通常忽略 robots.txt,ChatGPT-User、Kimi-User 说可能不适用;冒充爬虫的扫描器也不看它。要真正拦住,只能在服务器上按 UA 加 IP 处理。
豆包、DeepSeek、通义千问能用 robots.txt 屏蔽吗?#
没有办法精确屏蔽。截至 2026-11-08,这三家都没有公开自己的 AI 爬虫名字。检查器里的 Doubaobot、TongyiBot 这类名字只见于第三方,写进 robots.txt 不一定有用。
Google-Extended 屏蔽了,会影响 Google 搜索收录吗?#
按 Google 官方说法不会。Google-Extended 只是写在 robots.txt 里的名字,用来控制内容是否用于 Gemini 等模型;抓取网页的仍是 Googlebot,搜索收录看的是 Googlebot 的规则。