只想被 AI 搜索引用、不想被拿去训练:robots.txt 怎么写,怎么验证

· 约 8 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。

目录
  1. 谁会遇到这个问题?
  2. 先分清四类爬虫
  3. 本站 14 天里,这两类各来了多少?
  4. 怎么写?
    1. 第 1 步:从模板开始
    2. 第 2 步:合并你原有的规则
    3. 第 3 步:逐个验证
    4. 第 4 步:上线后看日志
  5. 这样做挡不住什么?
  6. 常见问题
    1. 屏蔽 GPTBot 会让我从 ChatGPT 搜索里消失吗?
    2. 这样写能挡住豆包、DeepSeek 拿我的内容训练吗?
    3. 已经被抓去训练的内容,现在屏蔽还有用吗?
    4. 为什么模板里 Amazonbot 被放进了训练组?

一句话结论:把「训练」和「AI 搜索」分开写在 robots.txt 的两组里,就能做到被引用、不被训练——前提是对方公开了名字并且遵守 robots.txt。收录表 29 个有名字的爬虫里,训练类 9 个、AI 搜索索引类 4 个【实测】;豆包、DeepSeek、通义没有公开名字,这招管不到它们【官方】。

谁会遇到这个问题?#

做原创内容的人——媒体、行业博客、知识付费、品牌内容团队——越来越常面对一个两难:

  • 希望自己的文章出现在 ChatGPT 搜索、Perplexity、Kimi 的回答里,并带上链接,因为这是新的流量入口;
  • 又不希望文章被免费拿去训练模型,变成不署名的「常识」。

好消息是,主要的海外 AI 公司已经把这两件事拆成了不同的爬虫名字,可以分开设置【官方】。麻烦在于名字多、规则细,写错了没有任何提示。本页按顺序讲清楚:该挡谁、该放谁、写完怎么验证。

先分清四类爬虫#

AI 爬虫收录表把每个爬虫按用途分成四类【实测】:

用途数量例子挡了它会怎样
训练9GPTBot、ClaudeBot、Google-Extended、KimiBot以后的内容不再用于模型训练
AI 搜索索引4OAI-SearchBot、Claude-SearchBot、PerplexityBot、Kimi-SearchBot可能不再出现在该 AI 的搜索回答里
用户触发4ChatGPT-User、Claude-User、Perplexity-User、Kimi-User用户让 AI 读你的网页时读不到;但多数官方说 robots 可能不适用
搜索引擎9Googlebot、Bingbot、Baiduspider、Bytespider从传统搜索里消失,国产 AI 助手多半也就搜不到你

另有 3 个名字(Doubaobot、ERNIEBot、TongyiBot)只见于第三方,用途未知【推断】。

想「被 AI 引用、不被训练」,要挡的是第一行,要放的是后三行。最常见的错误是把第四行也挡了:国产 AI 助手回答时多半用的是背后搜索引擎的结果【推断】,挡掉 Baiduspider、Bytespider 等于自己退出了豆包、文心的视野。

本站 14 天里,这两类各来了多少?#

为了让「挡训练」有个具体的量感,下面是 opengeo.page 自己 2026-10-26 至 11-08 的日志(只算本站,按 UA 自称计数,含冒充)【实测】:

用途来过的爬虫(请求数)合计
训练GPTBot 116、ClaudeBot 110、Amazonbot 48、Meta-ExternalAgent 40;KimiBot、HySpider、CCBot 为 0314
AI 搜索索引OAI-SearchBot 56、PerplexityBot 10;Claude-SearchBot、Kimi-SearchBot 为 066
用户触发ChatGPT-User 22
搜索引擎Googlebot 1,100、Bingbot 267、Baiduspider 57、Applebot 32、360Spider 3、Bytespider 21,461

两点观察:训练类的请求量是 AI 搜索类的近 5 倍;而 AI 搜索类的 66 次里,OAI-SearchBot 的 56 次全是读 robots.txt【实测】——它会先看你的规则,所以规则写对很重要【推断】。Google-Extended、Applebot-Extended 没有自己的 UA,日志里永远是 0,只能靠 robots.txt 表态【官方】。

怎么写?#

第 1 步:从模板开始#

打开 robots.txt 检查器,点「换成『只放行 AI 搜索、屏蔽训练』模板」。模板由收录表数据生成,结构是三组:

# 训练:不让内容进入模型训练
User-agent: HySpider
User-agent: KimiBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Amazonbot
User-agent: meta-externalagent
Disallow: /

# AI 搜索、用户触发和搜索引擎:放行
User-agent: OAI-SearchBot
(……共 17 个名字……)
Allow: /

# 其他爬虫
User-agent: *
Allow: /

连续写多行 User-agent、下面跟一组规则,表示这几个名字共用这组规则【官方】,比每个名字各写一遍更不容易漏。

第 2 步:合并你原有的规则#

如果你原来有 User-agent: * 下的后台路径限制(例如 Disallow: /admin/),要在每一组里都写一遍:一个爬虫一旦有了专属组,就完全不看 * 组【官方】。这是最容易出错的地方——检查器里改完路径填 /admin/ 测一下,就能看到哪些爬虫漏了。

第 3 步:逐个验证#

把改好的全文粘回检查器,路径分别填 / 和你最重要的一篇文章地址,确认结果是:训练 9 个屏蔽、其余放行。检查器会标出每个结果依据的是第几行,写错名字(例如把 OAI-SearchBot 写成 OAISearchBot)的那个爬虫会落到 * 组,一眼就能看出来。

第 4 步:上线后看日志#

robots.txt 改完不会立刻生效,各家缓存时间不同(例如 Amazon 说最长缓存 30 天)【官方】。两周后按查 AI 爬虫来没来的方法再数一次:训练类应该只剩读 robots.txt 的请求。如果某个名字还在取正文,先看是不是冒充(伪装爬虫),再考虑服务器层面拦截。

这样做挡不住什么?#

  • 没公开名字的。豆包、DeepSeek、通义没有公开 AI 爬虫【官方】,robots.txt 里没有可写的对象。
  • 不听 robots 的。Perplexity-User 官方说通常忽略【官方】;Bytespider 官方没写遵守,第三方报道它访问过被禁止的路径【推断】。
  • 已经抓走的。robots.txt 只管以后,不能让已进入训练数据的内容被删除【推断】。
  • 转载到别处的。你的文章被其他网站转载后,挡的是你自己的域名,管不到转载站。

常见问题#

屏蔽 GPTBot 会让我从 ChatGPT 搜索里消失吗?#

按 OpenAI 官方说法不会。GPTBot 管训练,OAI-SearchBot 管 ChatGPT 搜索,两个设置互相独立。要从 ChatGPT 搜索里消失,需要屏蔽的是 OAI-SearchBot。

这样写能挡住豆包、DeepSeek 拿我的内容训练吗?#

不能保证。这三家(豆包、DeepSeek、通义千问)都没有公开训练爬虫的名字,robots.txt 里没有可以写的对象。能确定管用的只有公开了名字、并声明遵守 robots.txt 的爬虫。

已经被抓去训练的内容,现在屏蔽还有用吗?#

只对以后的抓取有效。robots.txt 不会让已经进入训练数据的内容被删除;各家是否提供删除渠道,要看它们自己的政策。

为什么模板里 Amazonbot 被放进了训练组?#

模板按收录表里的用途字段生成,Amazonbot 记为训练,因为 Amazon 官方说它抓的内容可能用于训练。它并非只用于训练,如果你在意亚马逊的其他产品,可以把它挪到放行组。