AI 爬虫按公司分:10 家公司各自公开了哪些爬虫
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
一句话结论:收录表 30 个条目分属 17 家公司。有 2 个及以上条目的 10 家各有一页,列出它们的爬虫、官方文档、本站日志计数和整家公司的 robots 写法;只有 1 个条目的公司直接看那个爬虫的详情页。
10 家公司一览#
| 公司 | 爬虫 | 有官方文档 | 本站 15 天访问【实测】 | 核验不通过 |
|---|---|---|---|---|
| OpenAI | GPTBot、OAI-SearchBot、ChatGPT-User | 3 / 3 | 254 | 11 |
| Anthropic | ClaudeBot、Claude-User、Claude-SearchBot | 3 / 3 | 122 | 2 |
| 月之暗面(Kimi) | KimiBot、Kimi-SearchBot、Kimi-User | 3 / 3 | 0 | 0 |
| Google-Extended、Googlebot | 2 / 2 | 1,610 | 190 | |
| Apple | Applebot、Applebot-Extended | 2 / 2 | 38 | 0 |
| Perplexity | PerplexityBot、Perplexity-User | 2 / 2 | 10 | 2 |
| 字节跳动 | Bytespider、Doubaobot | 1 / 2 | 2 | 2 |
| 百度 | Baiduspider、ERNIEBot | 1 / 2 | 57 | 28 |
| 阿里巴巴 | YisouSpider、TongyiBot | 1 / 2 | 1 | 0 |
| 腾讯 | Sogou web spider、HySpider | 1 / 2 | 0 | 0 |
日志截至 2026-11-08 21:22(北京时间),访问按 UA 子串计数、含冒充者;核验不通过取自 crawlers-verify.json。
只有 1 个条目的 7 家公司#
- 360Spider:360(奇虎)
- PetalBot:华为
- DeepSeek:DeepSeek(深度求索)
- CCBot:Common Crawl(非营利)
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- Bingbot:Microsoft
公司是怎么归的?#
公司归属取自 crawlers.yaml 每条的 company_id。神马搜索的 YisouSpider 记在阿里巴巴、搜狗的 Sogou web spider 记在腾讯,依据是表里归属一栏原本就写着「神马搜索(阿里巴巴/UC)」「搜狗(腾讯)」。只有 1 个条目的公司不单独成页,因为那一页只会重复爬虫详情页的内容。