训练类 AI 爬虫:9 个名字、本站 15 天 365 次与 robots 模板

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 什么算训练类爬虫?
  2. 9 个训练类爬虫一览
  3. 本站 15 天里训练类爬虫来了多少?
  4. 训练类爬虫的 robots.txt 模板
  5. 和训练类爬虫相关的页面
    1. 训练类爬虫详情
    2. 其他用途
    3. 涉及的公司
    4. 其他

一句话结论:训练类爬虫抓的内容可能进模型训练。屏蔽它们只影响训练,各家官方都说不影响自家 AI 搜索或搜索引擎收录。收录表里有 9 个训练类名字,国内只有 KimiBot 和 HySpider 两个。

什么算训练类爬虫?#

本表的「训练」指官方文档说抓取内容可能用于训练模型的爬虫【官方】。有两个例外要知道:CCBot 官方只说为开放网页数据仓库抓取,没提「训练」,归到这里是因为它的数据集被大量模型拿去训练【推断】;Amazonbot 官方说「可能用于训练」,但它同时服务亚马逊的产品改进,不是纯训练爬虫【官方】。

9 个名字里有 2 个不会出现在日志里:Google-Extended 和 Applebot-Extended 没有自己的 UA,只在 robots.txt 里当开关用,实际抓取由 Googlebot、Applebot 完成【官方】。所以「日志里没见过」不等于它们没在用你的内容。

9 个训练类爬虫一览#

爬虫公司UA 里的名字是否遵守 robots依据本站 15 天访问【实测】
HySpider腾讯HySpider官方说遵守官方文档0
KimiBot月之暗面KimiBot官方说遵守官方文档0
GPTBotOpenAIGPTBot官方说遵守官方文档155
ClaudeBotAnthropicClaudeBot官方说遵守官方文档122
Google-ExtendedGoogleGoogle-Extended只是 robots.txt 开关官方文档—
Applebot-ExtendedAppleApplebot-Extended只是 robots.txt 开关官方文档—
CCBotCommon CrawlCCBot官方说遵守官方文档0
AmazonbotAmazonAmazonbot官方说遵守官方文档48
Meta-ExternalAgentMetameta-externalagent官方说遵守官方文档40

本站 15 天里训练类爬虫来了多少?#

训练类合计 365 次,最多的是 GPTBot(155 次);按官方方法核验不通过 4 次,约占 1.1%。3 个名字一次都没出现:HySpider、KimiBot、CCBot【实测】。

公司条目本站 15 天访问【实测】核验不通过
腾讯HySpider00
月之暗面KimiBot00
OpenAIGPTBot1552
AnthropicClaudeBot1222
GoogleGoogle-Extended00
AppleApplebot-Extended00
Common CrawlCCBot00
AmazonAmazonbot480
MetaMeta-ExternalAgent400
合计9 个3654

日志截至 2026-11-08 21:22(北京时间);访问按 UA 子串计数,含冒充者;核验不通过取自 crawlers-verify.json。

训练类爬虫的 robots.txt 模板#

# 屏蔽全部训练类爬虫
User-agent: HySpider
User-agent: KimiBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Amazonbot
User-agent: meta-externalagent
Disallow: /
# 放行全部训练类爬虫
User-agent: HySpider
User-agent: KimiBot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Amazonbot
User-agent: meta-externalagent
Allow: /

这份模板只列有名字的训练类爬虫。Amazonbot 不是纯训练爬虫,加不加请自己判断;豆包、DeepSeek、通义、文心没有官方训练爬虫名,这份写法管不到它们【推断】。

训练类爬虫详情#

其他用途#

涉及的公司#

其他#