只想被 AI 搜索引用、不想被拿去训练:robots.txt 怎么写,怎么验证
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。
目录
一句话结论:把「训练」和「AI 搜索」分开写在 robots.txt 的两组里,就能做到被引用、不被训练——前提是对方公开了名字并且遵守 robots.txt。收录表 29 个有名字的爬虫里,训练类 9 个、AI 搜索索引类 4 个【实测】;豆包、DeepSeek、通义没有公开名字,这招管不到它们【官方】。
谁会遇到这个问题?#
做原创内容的人——媒体、行业博客、知识付费、品牌内容团队——越来越常面对一个两难:
- 希望自己的文章出现在 ChatGPT 搜索、Perplexity、Kimi 的回答里,并带上链接,因为这是新的流量入口;
- 又不希望文章被免费拿去训练模型,变成不署名的「常识」。
好消息是,主要的海外 AI 公司已经把这两件事拆成了不同的爬虫名字,可以分开设置【官方】。麻烦在于名字多、规则细,写错了没有任何提示。本页按顺序讲清楚:该挡谁、该放谁、写完怎么验证。
先分清四类爬虫#
AI 爬虫收录表把每个爬虫按用途分成四类【实测】:
| 用途 | 数量 | 例子 | 挡了它会怎样 |
|---|---|---|---|
| 训练 | 9 | GPTBot、ClaudeBot、Google-Extended、KimiBot | 以后的内容不再用于模型训练 |
| AI 搜索索引 | 4 | OAI-SearchBot、Claude-SearchBot、PerplexityBot、Kimi-SearchBot | 可能不再出现在该 AI 的搜索回答里 |
| 用户触发 | 4 | ChatGPT-User、Claude-User、Perplexity-User、Kimi-User | 用户让 AI 读你的网页时读不到;但多数官方说 robots 可能不适用 |
| 搜索引擎 | 9 | Googlebot、Bingbot、Baiduspider、Bytespider | 从传统搜索里消失,国产 AI 助手多半也就搜不到你 |
另有 3 个名字(Doubaobot、ERNIEBot、TongyiBot)只见于第三方,用途未知【推断】。
想「被 AI 引用、不被训练」,要挡的是第一行,要放的是后三行。最常见的错误是把第四行也挡了:国产 AI 助手回答时多半用的是背后搜索引擎的结果【推断】,挡掉 Baiduspider、Bytespider 等于自己退出了豆包、文心的视野。
本站 14 天里,这两类各来了多少?#
为了让「挡训练」有个具体的量感,下面是 opengeo.page 自己 2026-10-26 至 11-08 的日志(只算本站,按 UA 自称计数,含冒充)【实测】:
| 用途 | 来过的爬虫(请求数) | 合计 |
|---|---|---|
| 训练 | GPTBot 116、ClaudeBot 110、Amazonbot 48、Meta-ExternalAgent 40;KimiBot、HySpider、CCBot 为 0 | 314 |
| AI 搜索索引 | OAI-SearchBot 56、PerplexityBot 10;Claude-SearchBot、Kimi-SearchBot 为 0 | 66 |
| 用户触发 | ChatGPT-User 2 | 2 |
| 搜索引擎 | Googlebot 1,100、Bingbot 267、Baiduspider 57、Applebot 32、360Spider 3、Bytespider 2 | 1,461 |
两点观察:训练类的请求量是 AI 搜索类的近 5 倍;而 AI 搜索类的 66 次里,OAI-SearchBot 的 56 次全是读 robots.txt【实测】——它会先看你的规则,所以规则写对很重要【推断】。Google-Extended、Applebot-Extended 没有自己的 UA,日志里永远是 0,只能靠 robots.txt 表态【官方】。
怎么写?#
第 1 步:从模板开始#
打开 robots.txt 检查器,点「换成『只放行 AI 搜索、屏蔽训练』模板」。模板由收录表数据生成,结构是三组:
# 训练:不让内容进入模型训练
User-agent: HySpider
User-agent: KimiBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Amazonbot
User-agent: meta-externalagent
Disallow: /
# AI 搜索、用户触发和搜索引擎:放行
User-agent: OAI-SearchBot
(……共 17 个名字……)
Allow: /
# 其他爬虫
User-agent: *
Allow: /
连续写多行 User-agent、下面跟一组规则,表示这几个名字共用这组规则【官方】,比每个名字各写一遍更不容易漏。
第 2 步:合并你原有的规则#
如果你原来有 User-agent: * 下的后台路径限制(例如 Disallow: /admin/),要在每一组里都写一遍:一个爬虫一旦有了专属组,就完全不看 * 组【官方】。这是最容易出错的地方——检查器里改完路径填 /admin/ 测一下,就能看到哪些爬虫漏了。
第 3 步:逐个验证#
把改好的全文粘回检查器,路径分别填 / 和你最重要的一篇文章地址,确认结果是:训练 9 个屏蔽、其余放行。检查器会标出每个结果依据的是第几行,写错名字(例如把 OAI-SearchBot 写成 OAISearchBot)的那个爬虫会落到 * 组,一眼就能看出来。
第 4 步:上线后看日志#
robots.txt 改完不会立刻生效,各家缓存时间不同(例如 Amazon 说最长缓存 30 天)【官方】。两周后按查 AI 爬虫来没来的方法再数一次:训练类应该只剩读 robots.txt 的请求。如果某个名字还在取正文,先看是不是冒充(伪装爬虫),再考虑服务器层面拦截。
这样做挡不住什么?#
- 没公开名字的。豆包、DeepSeek、通义没有公开 AI 爬虫【官方】,robots.txt 里没有可写的对象。
- 不听 robots 的。Perplexity-User 官方说通常忽略【官方】;Bytespider 官方没写遵守,第三方报道它访问过被禁止的路径【推断】。
- 已经抓走的。robots.txt 只管以后,不能让已进入训练数据的内容被删除【推断】。
- 转载到别处的。你的文章被其他网站转载后,挡的是你自己的域名,管不到转载站。
常见问题#
屏蔽 GPTBot 会让我从 ChatGPT 搜索里消失吗?#
按 OpenAI 官方说法不会。GPTBot 管训练,OAI-SearchBot 管 ChatGPT 搜索,两个设置互相独立。要从 ChatGPT 搜索里消失,需要屏蔽的是 OAI-SearchBot。
这样写能挡住豆包、DeepSeek 拿我的内容训练吗?#
不能保证。这三家(豆包、DeepSeek、通义千问)都没有公开训练爬虫的名字,robots.txt 里没有可以写的对象。能确定管用的只有公开了名字、并声明遵守 robots.txt 的爬虫。
已经被抓去训练的内容,现在屏蔽还有用吗?#
只对以后的抓取有效。robots.txt 不会让已经进入训练数据的内容被删除;各家是否提供删除渠道,要看它们自己的政策。
为什么模板里 Amazonbot 被放进了训练组?#
模板按收录表里的用途字段生成,Amazonbot 记为训练,因为 Amazon 官方说它抓的内容可能用于训练。它并非只用于训练,如果你在意亚马逊的其他产品,可以把它挪到放行组。