AI 爬虫 robots.txt 检查器:GPTBot、ClaudeBot、Kimi 等 29 个爬虫逐个看放行还是屏蔽

· 约 11 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。

目录
  1. 为什么要单独检查 AI 爬虫?
  2. 怎么用?
  3. 检查器按什么规则判断?
  4. 本站 robots.txt 的检查结果
  5. 「只放行 AI 搜索、屏蔽训练」模板
  6. 能做什么、不能做什么
  7. 常见问题
    1. 这个检查器会去抓我网站的 robots.txt 吗?
    2. 为什么我写了 User-agent: * 的屏蔽,GPTBot 还是显示放行?
    3. 检查结果显示屏蔽,就代表爬虫一定不会来吗?
    4. 豆包、DeepSeek、通义千问能用 robots.txt 屏蔽吗?
    5. Google-Extended 屏蔽了,会影响 Google 搜索收录吗?

一句话说明:粘贴一份 robots.txt,检查器会按 AI 爬虫收录表里 29 个有名字的爬虫,逐个算出它们对你填的路径是放行还是屏蔽,并指出依据的是第几行。打开页面时填的是本站 opengeo.page 自己的 robots.txt,结果是 29 个全部放行【实测】。

为什么要单独检查 AI 爬虫?#

robots.txt 的写法看着简单,出错却很常见,而且错了没有任何提示:爬虫不会告诉你它读懂了哪一行。和 AI 爬虫有关的坑主要有三类:

  • 以为 * 管所有人。某个爬虫只要有自己的一组,就只看那一组,* 组对它完全无效【官方】。
  • 训练和搜索是两个名字。OpenAI 训练用 GPTBot、搜索用 OAI-SearchBot,Anthropic、月之暗面也是分开的【官方】。只屏蔽一个,另一个照常来。
  • 名字写错或已经不存在。网上流传的一些名字(例如 Doubaobot、TongyiBot)没有官方出处【推断】,写了也不一定有人看。

这个检查器把「这一份 robots.txt 对每个爬虫到底意味着什么」直接算出来,省去对着规范一行行推。

怎么用?#

  1. 1在浏览器里打开你的域名加 /robots.txt,全选复制,粘贴到上面的框里(本页不会替你去抓)。
  2. 2在「检查路径」里填想确认的地址,例如 / 或 /blog/2026/xxx.html;结果随输入实时更新。
  3. 3按用途分组看结果:训练、AI 搜索索引、用户触发、搜索引擎。点爬虫名可以看它的官方文档、UA 原文和本站日志计数。
  4. 4想改成「只放行 AI 搜索、屏蔽训练」,点模板按钮,复制改好的内容回你的网站,再粘贴回来复查一遍。

框下方的「写法提示」会列出检查器发现的问题,例如规则写在 User-agent 之前、指令拼错(Dissallow)、路径不以 / 开头、空的 Allow。

检查器按什么规则判断?#

实现依据 RFC 9309(2022 年发布的 robots.txt 标准)和 Google 的 robots.txt 说明【官方】:

规则检查器的做法
分组连续的 User-agent 行是一组,后面的 Allow / Disallow 属于这一组;规则之后再出现 User-agent 就是新的一组;Sitemap 行不影响分组
选组名字不区分大小写,/2.1 这样的版本号忽略。完全同名的组优先;没有时按 Google 的做法,用名字开头相同的组(googlebot 组也管 Googlebot-News);都没有才用 * 组
同名多组同一个名字出现在几组里,规则合并
规则匹配路径从头开始比,区分大小写;* 匹配任意字符,结尾的 $ 表示到此为止
冲突取最长(最具体)的规则;Allow 和 Disallow 一样长时,Allow 优先
特殊情况空的 Disallow: 不算规则;没有任何适用的组就全部放行;/robots.txt 本身总是可以读
编码中文路径与 %E8%A7%82 这样的百分号编码视为相同

前缀匹配是 Google 的做法,RFC 9309 只要求名字匹配,其他爬虫是否这样处理没有统一说法【推断】;结果里会写明是「匹配到」还是「按名字前缀匹配到」。这些规则写成了 19 个单元测试,用例取自 RFC 9309 和 Google 文档里的示例,全部通过后才发布。

本站 robots.txt 的检查结果#

opengeo.page 的 robots.txt 分两组:* 组,以及把 20 个 AI 与搜索爬虫的名字单独列出来的一组,两组规则相同,都是放行全站、只挡 /admin/ 等三个后台路径【实测】。检查结果:

用途爬虫数检查 / 的结果检查 /admin/ 的结果
训练9全部放行全部屏蔽
AI 搜索索引4全部放行全部屏蔽
用户触发4全部放行全部屏蔽
搜索引擎9全部放行全部屏蔽
用途未知(只见于第三方)3全部放行全部屏蔽

Googlebot、Bingbot、Applebot、Kimi 的三个爬虫、HySpider、PetalBot 和 3 个只见于第三方的名字没有被单独列出,用的是 * 组,结果相同【实测】。本站是公开的观测站,选择欢迎所有爬虫,这是本站的取舍,不是建议。

点「换成模板」后,训练类 9 个变为屏蔽,其余 20 个仍是放行。按本站 2026-10-26 至 11-08 的日志,自称这 9 个训练爬虫的请求共 314 次(GPTBot 116、ClaudeBot 110、Amazonbot 48、Meta-ExternalAgent 40),这就是如果当时用了模板、会被要求停下的量;自称 AI 搜索类的 66 次照常【实测】。计数按 UA 自称,含冒充,见伪装爬虫。

「只放行 AI 搜索、屏蔽训练」模板#

模板由收录表数据生成:用途为「训练」的 9 个名字写在第一组 Disallow: /,AI 搜索、用户触发和搜索引擎的 17 个写在第二组 Allow: /,最后 * 组放行。和收录表里手写的版本相比,它多了 Amazonbot:Amazon 官方说 Amazonbot 抓的内容「可能用于训练」【官方】,但它不只用于训练,收录表的手写版没有把它放进训练组,要不要挡请自己判断。

几点限制:

  • Google-Extended、Applebot-Extended 只是写在 robots.txt 里的名字,没有自己的 UA,日志里永远看不到它们【官方】;
  • 用户触发类(ChatGPT-User、Perplexity-User、Kimi-User)多数官方说 robots.txt 可能不适用【官方】;
  • 豆包、DeepSeek、通义没有公开名字,模板管不到它们【推断】。

完整的场景说明见只想被 AI 搜索引用、不想被拿去训练。

能做什么、不能做什么#

能做:解析任意 robots.txt 文本;对一个路径逐个判断 29 个爬虫;标出依据的组和规则行;提示常见写法问题;生成训练屏蔽模板。

不能做:不抓取线上文件;不检查 nginx、CDN 或防火墙层面的拦截(那些比 robots.txt 更硬);不判断某个请求是不是真爬虫(见日志里的 Googlebot 是真的吗);不管 <meta name="robots"> 和 X-Robots-Tag。

常见问题#

这个检查器会去抓我网站的 robots.txt 吗?#

不会。它只解析你粘贴进来的文字,计算在浏览器里完成,不向任何网站发请求。要检查线上的文件,请在浏览器里打开 你的域名/robots.txt,复制全文再粘贴。

为什么我写了 User-agent: * 的屏蔽,GPTBot 还是显示放行?#

因为 robots.txt 里只要有一组写明了 GPTBot,GPTBot 就只看那一组,完全不看 * 组。如果那一组里只有 Allow 或者没有命中的规则,结果就是放行。* 组只对没有专属组的爬虫生效。

检查结果显示屏蔽,就代表爬虫一定不会来吗?#

不代表。robots.txt 是请求,不是门锁。官方文档里,Perplexity-User 说通常忽略 robots.txt,ChatGPT-User、Kimi-User 说可能不适用;冒充爬虫的扫描器也不看它。要真正拦住,只能在服务器上按 UA 加 IP 处理。

豆包、DeepSeek、通义千问能用 robots.txt 屏蔽吗?#

没有办法精确屏蔽。截至 2026-11-08,这三家都没有公开自己的 AI 爬虫名字。检查器里的 Doubaobot、TongyiBot 这类名字只见于第三方,写进 robots.txt 不一定有用。

Google-Extended 屏蔽了,会影响 Google 搜索收录吗?#

按 Google 官方说法不会。Google-Extended 只是写在 robots.txt 里的名字,用来控制内容是否用于 Gemini 等模型;抓取网页的仍是 Googlebot,搜索收录看的是 Googlebot 的规则。