AI 爬虫收录表:豆包、Kimi、GPTBot 等 30 个爬虫的 UA、用途与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:本表收录 30 个爬虫,25 个有官方文档,5 个只有第三方资料。国内厂商里,把 AI 爬虫写成官方文档的只有月之暗面(Kimi 三个)和腾讯混元(HySpider);豆包、DeepSeek、通义千问、文心都没有公开爬虫【官方】。本站 15 天日志里,2,511 次请求自称是表中的爬虫,至少 236 次是冒充【实测】。
这张表怎么读?#
每个爬虫有一个详情页,写清楚它是谁家的、喂给哪个产品、屏蔽它会改变什么、UA 原文、怎么核验真假、robots.txt 和 nginx 写法。每句话标注依据:
- 【官方】:出自该公司的官方文档,链接在详情页里。
- 【实测】:出自本站 opengeo.page 所在服务器的 nginx 日志。
- 【推断】:由前两者推出,或来自第三方,官方没有确认。
用途分四类:训练(抓的内容可能用于训练模型)、AI 搜索索引(决定能否出现在 AI 搜索回答里)、用户触发(用户提问或点名网页时才来,多数不受 robots 约束)、搜索引擎(传统搜索收录)。
访问次数的口径:日志范围 2026-10-25 01:00 至 11-08 21:22(北京时间),读的是 opengeo.page 主站日志和同一台服务器上其他站点的日志;按 UA 子串不区分大小写计数,冒充者也算在内。2026-10-29 23:10 之前的日志有完整 IP,可以逐条核验;之后 IP 末段已匿名成 .0,只能看所在 /24 是否与官方段重合【实测】。本站另有一份 bot-access.log 专记 AI 爬虫,但它的名单漏了 Baiduspider 和 360Spider,所以计数没有用它。
按公司、按用途看#
- 按公司看:有 2 个及以上条目的公司各一页,列出它的全部爬虫、官方文档、本站日志计数和一次放行或屏蔽整家的 robots 写法。
- 按用途看:训练、AI 搜索索引、用户触发、搜索引擎四类各一页,附只管这一类的 robots.txt 模板。
30 个爬虫一览#
「—」表示它没有自己的 UA(Google-Extended、Applebot-Extended 只写在 robots.txt 里),或没有公开爬虫(DeepSeek)。依据为「第三方」的条目,名字和 UA 都不是官方公布的。
只想挡 AI 训练、保留 AI 搜索,robots.txt 怎么写?#
各家官方都说训练和搜索的设置互相独立【官方】。下面这份只屏蔽有官方文档的训练类名字,搜索类和搜索引擎爬虫照常放行:
# 训练:不让内容进入模型训练
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: KimiBot
User-agent: HySpider
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /
# AI 搜索与搜索引擎:放行
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Kimi-SearchBot
User-agent: Googlebot
User-agent: Bingbot
User-agent: Baiduspider
Allow: /
改完以后,可以把整份 robots.txt 粘进 robots.txt 检查器,逐个确认每个爬虫是放行还是屏蔽;完整步骤见只放行 AI 搜索、屏蔽训练。
几点要知道:Amazonbot 官方说「可能用于训练」,但它不是纯训练爬虫,是否加进第一组请自己判断;Applebot 没有单独规则时会沿用 Googlebot 的规则【官方】;豆包、DeepSeek、通义没有官方名字,这份写法管不到它们【推断】。
哪些爬虫不听 robots.txt?#
- Perplexity-User:官方说「通常忽略」【官方】。
- ChatGPT-User、Kimi-User:官方说用户触发,robots「可能不适用」【官方】。
- Bytespider:官方没写遵守,第三方报道它访问过被禁止的路径,记为有争议【推断】。
- 百度的 Baiduspider-cpro、-ads:百度官方注明不遵守【官方】。
例外是 Claude-User:同样是用户触发,Anthropic 说禁止后就不再按用户请求取回内容【官方】。对不听 robots 的,只能在服务器层面按 UA 或 IP 拦。
国产 AI 助手各自用哪个爬虫?#
| AI 助手 | 官方公开的爬虫 | 说明 |
|---|---|---|
| 豆包 | 无(字节只有 Bytespider) | Doubaobot 只见于第三方 |
| DeepSeek | 无 | 网传 DeepSeekBot 无出处 |
| Kimi | KimiBot、Kimi-SearchBot、Kimi-User | 训练、搜索、用户触发分开,各有 IP 列表 |
| 千问 | 无(阿里只有 YisouSpider) | TongyiBot 只见于第三方 |
| 腾讯元宝 | HySpider(仅训练) | 元宝联网检索没有爬虫文档 |
| 文心 / 百度 | 只有 Baiduspider 系 | ERNIEBot 官方 UA 表里没有 |
这和 OpenGEO 平台页里看到的一致:这些助手回答时用的网页,多半来自它们背后的搜索引擎或自家内容(抖音、头条),不一定需要单独来抓你的网站【推断】。
有人冒充这些爬虫吗?#
有,而且不少。本站 15 天里至少 236 次请求冒用表中爬虫的名字:冒充 Googlebot 190 次、Baiduspider 28 次、ChatGPT-User 9 次,还有一个 /24 在 23 分钟里轮流冒充了 6 个爬虫【实测】。识别方法和 nginx 拦截写法见伪装成 AI 爬虫的请求:怎么识别。
数据来源#
- 官方文档:每个详情页列出所用的官方页面,2026-11-08 逐一抓取核对。腾讯混元英文页抓取失败,改用中文页。
- 日志:opengeo.page 服务器
/var/log/nginx/geo-access.log*与access.log*,只读取。核验汇总(不含访客 IP):crawlers-verify.json。 - 数据文件:crawlers.yaml(30 条,含 UA、官方链接、计数),CC BY 4.0,可直接复用。
- 下一版计划补上官方文档里有、本表还没单列的:Amzn-SearchBot、OAI-AdsBot、Meta-WebIndexer、Meta-ExternalFetcher、Baiduspider-render、GoogleOther 等。
常见问题#
豆包、DeepSeek、通义千问有官方爬虫吗?#
截至 2026-11-08 都没有公开。字节公开的只有头条搜索的 Bytespider,阿里只有神马搜索的 YisouSpider,DeepSeek 没有任何爬虫文档。国内厂商里,有官方 AI 爬虫文档的只有月之暗面(Kimi 三个)和腾讯混元(HySpider)。
只想不让 AI 拿内容训练,又想被 AI 搜索引用,怎么写 robots.txt?#
屏蔽训练类的名字(GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、KimiBot、HySpider、CCBot 等),放行搜索类的名字(OAI-SearchBot、Claude-SearchBot、PerplexityBot、Kimi-SearchBot 和各家搜索引擎爬虫)。各家官方都说这些设置互相独立。
日志里看到 GPTBot、Googlebot 就说明被 AI 抓了吗?#
不一定。UA 谁都能写。本站 15 天里有 2,511 次请求自称是表中的爬虫,其中至少 236 次按官方方法核验是冒充,自称 Googlebot 的 1,610 次里就有 190 次不是 Google。