AI 爬虫按用途分:训练、AI 搜索、用户触发、搜索引擎各有哪些
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
一句话结论:收录表 30 个条目里,26 个能按官方说法归到四种用途之一;另外 4 个没有官方文档,用途无从确认,不归类。
四种用途一览#
| 用途 | 爬虫 | 本站 15 天访问【实测】 | 核验不通过 |
|---|---|---|---|
| 训练(9 个) | HySpider、KimiBot、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Amazonbot、Meta-ExternalAgent | 365 | 4 |
| AI 搜索索引(4 个) | Kimi-SearchBot、OAI-SearchBot、Claude-SearchBot、PerplexityBot | 98 | 2 |
| 用户触发(4 个) | Kimi-User、ChatGPT-User、Claude-User、Perplexity-User | 11 | 9 |
| 搜索引擎(9 个) | Bytespider、Baiduspider、YisouSpider、Sogou web spider、360Spider、PetalBot、Googlebot、Applebot、Bingbot | 2,037 | 243 |
日志截至 2026-11-08 21:22(北京时间),访问按 UA 子串计数、含冒充者;核验不通过取自 crawlers-verify.json。
没有归类的 4 个条目#
用途是怎么定的?#
用途取自 crawlers.yaml 每条的 purpose,按官方文档的说法填写;官方没说「训练」但归为训练的(CCBot),在训练类那一页单独注明。一个爬虫只归一类,跨类的(PetalBot、Applebot、Amazonbot)在各自页面说明。