AI 爬虫按用途分:训练、AI 搜索、用户触发、搜索引擎各有哪些

· 约 2 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 四种用途一览
  2. 没有归类的 4 个条目
  3. 用途是怎么定的?

一句话结论:收录表 30 个条目里,26 个能按官方说法归到四种用途之一;另外 4 个没有官方文档,用途无从确认,不归类。

四种用途一览#

用途爬虫本站 15 天访问【实测】核验不通过
训练(9 个)HySpider、KimiBot、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Amazonbot、Meta-ExternalAgent3654
AI 搜索索引(4 个)Kimi-SearchBot、OAI-SearchBot、Claude-SearchBot、PerplexityBot982
用户触发(4 个)Kimi-User、ChatGPT-User、Claude-User、Perplexity-User119
搜索引擎(9 个)Bytespider、Baiduspider、YisouSpider、Sogou web spider、360Spider、PetalBot、Googlebot、Applebot、Bingbot2,037243

日志截至 2026-11-08 21:22(北京时间),访问按 UA 子串计数、含冒充者;核验不通过取自 crawlers-verify.json。

没有归类的 4 个条目#

用途是怎么定的?#

用途取自 crawlers.yaml 每条的 purpose,按官方文档的说法填写;官方没说「训练」但归为训练的(CCBot),在训练类那一页单独注明。一个爬虫只归一类,跨类的(PetalBot、Applebot、Amazonbot)在各自页面说明。