训练类 AI 爬虫:9 个名字、本站 15 天 365 次与 robots 模板
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
一句话结论:训练类爬虫抓的内容可能进模型训练。屏蔽它们只影响训练,各家官方都说不影响自家 AI 搜索或搜索引擎收录。收录表里有 9 个训练类名字,国内只有 KimiBot 和 HySpider 两个。
什么算训练类爬虫?#
本表的「训练」指官方文档说抓取内容可能用于训练模型的爬虫【官方】。有两个例外要知道:CCBot 官方只说为开放网页数据仓库抓取,没提「训练」,归到这里是因为它的数据集被大量模型拿去训练【推断】;Amazonbot 官方说「可能用于训练」,但它同时服务亚马逊的产品改进,不是纯训练爬虫【官方】。
9 个名字里有 2 个不会出现在日志里:Google-Extended 和 Applebot-Extended 没有自己的 UA,只在 robots.txt 里当开关用,实际抓取由 Googlebot、Applebot 完成【官方】。所以「日志里没见过」不等于它们没在用你的内容。
9 个训练类爬虫一览#
| 爬虫 | 公司 | UA 里的名字 | 是否遵守 robots | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|---|
| HySpider | 腾讯 | HySpider | 官方说遵守 | 官方文档 | 0 |
| KimiBot | 月之暗面 | KimiBot | 官方说遵守 | 官方文档 | 0 |
| GPTBot | OpenAI | GPTBot | 官方说遵守 | 官方文档 | 155 |
| ClaudeBot | Anthropic | ClaudeBot | 官方说遵守 | 官方文档 | 122 |
| Google-Extended | Google-Extended | 只是 robots.txt 开关 | 官方文档 | — | |
| Applebot-Extended | Apple | Applebot-Extended | 只是 robots.txt 开关 | 官方文档 | — |
| CCBot | Common Crawl | CCBot | 官方说遵守 | 官方文档 | 0 |
| Amazonbot | Amazon | Amazonbot | 官方说遵守 | 官方文档 | 48 |
| Meta-ExternalAgent | Meta | meta-externalagent | 官方说遵守 | 官方文档 | 40 |
本站 15 天里训练类爬虫来了多少?#
训练类合计 365 次,最多的是 GPTBot(155 次);按官方方法核验不通过 4 次,约占 1.1%。3 个名字一次都没出现:HySpider、KimiBot、CCBot【实测】。
| 公司 | 条目 | 本站 15 天访问【实测】 | 核验不通过 |
|---|---|---|---|
| 腾讯 | HySpider | 0 | 0 |
| 月之暗面 | KimiBot | 0 | 0 |
| OpenAI | GPTBot | 155 | 2 |
| Anthropic | ClaudeBot | 122 | 2 |
| Google-Extended | 0 | 0 | |
| Apple | Applebot-Extended | 0 | 0 |
| Common Crawl | CCBot | 0 | 0 |
| Amazon | Amazonbot | 48 | 0 |
| Meta | Meta-ExternalAgent | 40 | 0 |
| 合计 | 9 个 | 365 | 4 |
日志截至 2026-11-08 21:22(北京时间);访问按 UA 子串计数,含冒充者;核验不通过取自 crawlers-verify.json。
训练类爬虫的 robots.txt 模板#
# 屏蔽全部训练类爬虫
User-agent: HySpider
User-agent: KimiBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Amazonbot
User-agent: meta-externalagent
Disallow: /
# 放行全部训练类爬虫
User-agent: HySpider
User-agent: KimiBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Amazonbot
User-agent: meta-externalagent
Allow: /
这份模板只列有名字的训练类爬虫。Amazonbot 不是纯训练爬虫,加不加请自己判断;豆包、DeepSeek、通义、文心没有官方训练爬虫名,这份写法管不到它们【推断】。
和训练类爬虫相关的页面#
训练类爬虫详情#
- HySpider:腾讯
- KimiBot:月之暗面
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Google-Extended:Google
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta