AI 爬虫收录表:豆包、Kimi、GPTBot 等 30 个爬虫的 UA、用途与 robots 写法

· 约 12 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 这张表怎么读?
  2. 按公司、按用途看
  3. 30 个爬虫一览
  4. 只想挡 AI 训练、保留 AI 搜索,robots.txt 怎么写?
  5. 哪些爬虫不听 robots.txt?
  6. 国产 AI 助手各自用哪个爬虫?
  7. 有人冒充这些爬虫吗?
  8. 数据来源
  9. 常见问题
    1. 豆包、DeepSeek、通义千问有官方爬虫吗?
    2. 只想不让 AI 拿内容训练,又想被 AI 搜索引用,怎么写 robots.txt?
    3. 日志里看到 GPTBot、Googlebot 就说明被 AI 抓了吗?

一句话结论:本表收录 30 个爬虫,25 个有官方文档,5 个只有第三方资料。国内厂商里,把 AI 爬虫写成官方文档的只有月之暗面(Kimi 三个)和腾讯混元(HySpider);豆包、DeepSeek、通义千问、文心都没有公开爬虫【官方】。本站 15 天日志里,2,511 次请求自称是表中的爬虫,至少 236 次是冒充【实测】。

这张表怎么读?#

每个爬虫有一个详情页,写清楚它是谁家的、喂给哪个产品、屏蔽它会改变什么、UA 原文、怎么核验真假、robots.txt 和 nginx 写法。每句话标注依据:

  • 【官方】:出自该公司的官方文档,链接在详情页里。
  • 【实测】:出自本站 opengeo.page 所在服务器的 nginx 日志。
  • 【推断】:由前两者推出,或来自第三方,官方没有确认。

用途分四类:训练(抓的内容可能用于训练模型)、AI 搜索索引(决定能否出现在 AI 搜索回答里)、用户触发(用户提问或点名网页时才来,多数不受 robots 约束)、搜索引擎(传统搜索收录)。

访问次数的口径:日志范围 2026-10-25 01:00 至 11-08 21:22(北京时间),读的是 opengeo.page 主站日志和同一台服务器上其他站点的日志;按 UA 子串不区分大小写计数,冒充者也算在内。2026-10-29 23:10 之前的日志有完整 IP,可以逐条核验;之后 IP 末段已匿名成 .0,只能看所在 /24 是否与官方段重合【实测】。本站另有一份 bot-access.log 专记 AI 爬虫,但它的名单漏了 Baiduspider 和 360Spider,所以计数没有用它。

按公司、按用途看#

30 个爬虫一览#

爬虫归属用途依据本站 15 天访问【实测】详情
Bytespider字节跳动搜索引擎官方2Bytespider 的 UA 与 robots
Doubaobot字节跳动未公开第三方0Doubaobot 的 UA 与 robots
Baiduspider百度搜索引擎官方57Baiduspider 的 UA 与 robots
ERNIEBot百度未公开第三方0ERNIEBot 的 UA 与 robots
Yisouspider神马搜索搜索引擎官方1YisouSpider 的 UA 与 robots
Sogou web spider搜狗搜索引擎第三方0Sogou web spider 的 UA 与 robots
360Spider360搜索引擎官方6360Spider 的 UA 与 robots
PetalBot华为搜索引擎官方0PetalBot 的 UA 与 robots
HySpider腾讯训练官方0HySpider 的 UA 与 robots
KimiBot月之暗面训练官方0KimiBot 的 UA 与 robots
Kimi-SearchBot月之暗面AI 搜索索引官方0Kimi-SearchBot 的 UA 与 robots
Kimi-User月之暗面用户触发官方0Kimi-User 的 UA 与 robots
DeepSeekDeepSeek未公开第三方—DeepSeek 的 UA 与 robots
TongyiBot阿里巴巴未公开第三方0TongyiBot 的 UA 与 robots
GPTBotOpenAI训练官方155GPTBot 的 UA 与 robots
OAI-SearchBotOpenAIAI 搜索索引官方88OAI-SearchBot 的 UA 与 robots
ChatGPT-UserOpenAI用户触发官方11ChatGPT-User 的 UA 与 robots
ClaudeBotAnthropic训练官方122ClaudeBot 的 UA 与 robots
Claude-UserAnthropic用户触发官方0Claude-User 的 UA 与 robots
Claude-SearchBotAnthropicAI 搜索索引官方0Claude-SearchBot 的 UA 与 robots
PerplexityBotPerplexityAI 搜索索引官方10PerplexityBot 的 UA 与 robots
Perplexity-UserPerplexity用户触发官方0Perplexity-User 的 UA 与 robots
Google-ExtendedGoogle训练官方—Google-Extended 的 UA 与 robots
GooglebotGoogle搜索引擎官方1,610Googlebot 的 UA 与 robots
ApplebotApple搜索引擎官方38Applebot 的 UA 与 robots
Applebot-ExtendedApple训练官方—Applebot-Extended 的 UA 与 robots
CCBotCommon Crawl训练官方0CCBot 的 UA 与 robots
AmazonbotAmazon训练官方48Amazonbot 的 UA 与 robots
meta-externalagentMeta训练官方40Meta-ExternalAgent 的 UA 与 robots
bingbotMicrosoft搜索引擎官方323Bingbot 的 UA 与 robots

「—」表示它没有自己的 UA(Google-Extended、Applebot-Extended 只写在 robots.txt 里),或没有公开爬虫(DeepSeek)。依据为「第三方」的条目,名字和 UA 都不是官方公布的。

只想挡 AI 训练、保留 AI 搜索,robots.txt 怎么写?#

各家官方都说训练和搜索的设置互相独立【官方】。下面这份只屏蔽有官方文档的训练类名字,搜索类和搜索引擎爬虫照常放行:

# 训练:不让内容进入模型训练
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: KimiBot
User-agent: HySpider
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

# AI 搜索与搜索引擎:放行
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Kimi-SearchBot
User-agent: Googlebot
User-agent: Bingbot
User-agent: Baiduspider
Allow: /

改完以后,可以把整份 robots.txt 粘进 robots.txt 检查器,逐个确认每个爬虫是放行还是屏蔽;完整步骤见只放行 AI 搜索、屏蔽训练。

几点要知道:Amazonbot 官方说「可能用于训练」,但它不是纯训练爬虫,是否加进第一组请自己判断;Applebot 没有单独规则时会沿用 Googlebot 的规则【官方】;豆包、DeepSeek、通义没有官方名字,这份写法管不到它们【推断】。

哪些爬虫不听 robots.txt?#

  • Perplexity-User:官方说「通常忽略」【官方】。
  • ChatGPT-User、Kimi-User:官方说用户触发,robots「可能不适用」【官方】。
  • Bytespider:官方没写遵守,第三方报道它访问过被禁止的路径,记为有争议【推断】。
  • 百度的 Baiduspider-cpro、-ads:百度官方注明不遵守【官方】。

例外是 Claude-User:同样是用户触发,Anthropic 说禁止后就不再按用户请求取回内容【官方】。对不听 robots 的,只能在服务器层面按 UA 或 IP 拦。

国产 AI 助手各自用哪个爬虫?#

AI 助手官方公开的爬虫说明
豆包无(字节只有 Bytespider)Doubaobot 只见于第三方
DeepSeek无网传 DeepSeekBot 无出处
KimiKimiBot、Kimi-SearchBot、Kimi-User训练、搜索、用户触发分开,各有 IP 列表
千问无(阿里只有 YisouSpider)TongyiBot 只见于第三方
腾讯元宝HySpider(仅训练)元宝联网检索没有爬虫文档
文心 / 百度只有 Baiduspider 系ERNIEBot 官方 UA 表里没有

这和 OpenGEO 平台页里看到的一致:这些助手回答时用的网页,多半来自它们背后的搜索引擎或自家内容(抖音、头条),不一定需要单独来抓你的网站【推断】。

有人冒充这些爬虫吗?#

有,而且不少。本站 15 天里至少 236 次请求冒用表中爬虫的名字:冒充 Googlebot 190 次、Baiduspider 28 次、ChatGPT-User 9 次,还有一个 /24 在 23 分钟里轮流冒充了 6 个爬虫【实测】。识别方法和 nginx 拦截写法见伪装成 AI 爬虫的请求:怎么识别。

数据来源#

  • 官方文档:每个详情页列出所用的官方页面,2026-11-08 逐一抓取核对。腾讯混元英文页抓取失败,改用中文页。
  • 日志:opengeo.page 服务器 /var/log/nginx/geo-access.log* 与 access.log*,只读取。核验汇总(不含访客 IP):crawlers-verify.json。
  • 数据文件:crawlers.yaml(30 条,含 UA、官方链接、计数),CC BY 4.0,可直接复用。
  • 下一版计划补上官方文档里有、本表还没单列的:Amzn-SearchBot、OAI-AdsBot、Meta-WebIndexer、Meta-ExternalFetcher、Baiduspider-render、GoogleOther 等。

常见问题#

豆包、DeepSeek、通义千问有官方爬虫吗?#

截至 2026-11-08 都没有公开。字节公开的只有头条搜索的 Bytespider,阿里只有神马搜索的 YisouSpider,DeepSeek 没有任何爬虫文档。国内厂商里,有官方 AI 爬虫文档的只有月之暗面(Kimi 三个)和腾讯混元(HySpider)。

只想不让 AI 拿内容训练,又想被 AI 搜索引用,怎么写 robots.txt?#

屏蔽训练类的名字(GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、KimiBot、HySpider、CCBot 等),放行搜索类的名字(OAI-SearchBot、Claude-SearchBot、PerplexityBot、Kimi-SearchBot 和各家搜索引擎爬虫)。各家官方都说这些设置互相独立。

日志里看到 GPTBot、Googlebot 就说明被 AI 抓了吗?#

不一定。UA 谁都能写。本站 15 天里有 2,511 次请求自称是表中的爬虫,其中至少 236 次按官方方法核验是冒充,自称 Googlebot 的 1,610 次里就有 190 次不是 Google。