AI 爬虫按公司分:10 家公司各自公开了哪些爬虫

· 约 3 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 10 家公司一览
  2. 只有 1 个条目的 7 家公司
  3. 公司是怎么归的?

一句话结论:收录表 30 个条目分属 17 家公司。有 2 个及以上条目的 10 家各有一页,列出它们的爬虫、官方文档、本站日志计数和整家公司的 robots 写法;只有 1 个条目的公司直接看那个爬虫的详情页。

10 家公司一览#

公司爬虫有官方文档本站 15 天访问【实测】核验不通过
OpenAIGPTBot、OAI-SearchBot、ChatGPT-User3 / 325411
AnthropicClaudeBot、Claude-User、Claude-SearchBot3 / 31222
月之暗面(Kimi)KimiBot、Kimi-SearchBot、Kimi-User3 / 300
GoogleGoogle-Extended、Googlebot2 / 21,610190
AppleApplebot、Applebot-Extended2 / 2380
PerplexityPerplexityBot、Perplexity-User2 / 2102
字节跳动Bytespider、Doubaobot1 / 222
百度Baiduspider、ERNIEBot1 / 25728
阿里巴巴YisouSpider、TongyiBot1 / 210
腾讯Sogou web spider、HySpider1 / 200

日志截至 2026-11-08 21:22(北京时间),访问按 UA 子串计数、含冒充者;核验不通过取自 crawlers-verify.json。

只有 1 个条目的 7 家公司#

公司是怎么归的?#

公司归属取自 crawlers.yaml 每条的 company_id。神马搜索的 YisouSpider 记在阿里巴巴、搜狗的 Sogou web spider 记在腾讯,依据是表里归属一栏原本就写着「神马搜索(阿里巴巴/UC)」「搜狗(腾讯)」。只有 1 个条目的公司不单独成页,因为那一页只会重复爬虫详情页的内容。