月之暗面 Kimi 的 3 个爬虫:KimiBot、Kimi-SearchBot、Kimi-User

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 月之暗面(Kimi)有哪些爬虫?
  2. 月之暗面(Kimi)官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里月之暗面(Kimi)的爬虫来了几次?
  5. 一次放行或屏蔽月之暗面(Kimi)的全部爬虫
  6. 和月之暗面(Kimi)相关的页面
    1. 月之暗面(Kimi)的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:国内厂商里,把训练、搜索、用户触发三类爬虫分开写成官方文档的只有月之暗面。三个名字各有 IP 列表、各自独立设置;本站 15 天日志里三个都没出现过。

月之暗面(Kimi)有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
KimiBotKimiBot训练官方文档0
Kimi-SearchBotKimi-SearchBotAI 搜索索引官方文档0
Kimi-UserKimi-User用户触发官方文档0

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。

月之暗面(Kimi)官方公开了什么?#

Kimi 的爬虫说明页一次列出三个名字【官方】:KimiBot 抓取可能用于训练 Kimi 基础模型的内容,禁止它表示内容不应用于训练;Kimi-SearchBot 分析页面相关性、建立 Kimi 的搜索索引;Kimi-User 在用户让 Kimi 总结某篇文章、或回答需要实时检索的问题时访问网页。

官方说三者「各自独立配置」,用行业标准的 robots.txt 指令控制,支持 Crawl-delay,并分别公布了 kimibot.json、kimi-searchbot.json、kimi-user.json 三份 IP 列表【官方】。Kimi-User 是用户触发,官方原话是 robots 规则「may not directly apply」【官方】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
KimiBot官方说遵守有未出现
Kimi-SearchBot官方说遵守有未出现
Kimi-User官方说可能不直接适用有未出现

本站 15 天里月之暗面(Kimi)的爬虫来了几次?#

月之暗面(Kimi)的 KimiBot、Kimi-SearchBot、Kimi-User 在本站 15 天的日志里一次都没出现【实测】。没来过不代表不会来,只说明这个新站还没被它们抓到。

一次放行或屏蔽月之暗面(Kimi)的全部爬虫#

# 屏蔽月之暗面(Kimi)的全部爬虫
User-agent: KimiBot
User-agent: Kimi-SearchBot
User-agent: Kimi-User
Disallow: /
# 放行月之暗面(Kimi)的全部爬虫
User-agent: KimiBot
User-agent: Kimi-SearchBot
User-agent: Kimi-User
Allow: /

只挡训练、其余照常:

User-agent: KimiBot
Disallow: /

User-agent: Kimi-SearchBot
User-agent: Kimi-User
Allow: /

Kimi-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。

月之暗面(Kimi)的爬虫详情#

同用途的其他公司爬虫#

其他#