KimiBot 是什么:月之暗面 Kimi 训练爬虫的 UA、IP 与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:KimiBot 是月之暗面用来抓取训练数据的爬虫。屏蔽它只表示「别拿我训练 Kimi 的模型」,不影响 Kimi 搜索收录——那是 Kimi-SearchBot 的事。只想挡训练,就只屏蔽 KimiBot。
| KimiBot | |
|---|---|
| 归属 | 月之暗面 (Moonshot AI) |
| 服务的产品 | Kimi(训练 Kimi 基础模型) |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
KimiBot 是谁家的、拿去做什么?#
Kimi 官方页把三个爬虫分开写:KimiBot 抓取可能用于训练 Kimi 基础模型的内容,禁止它表示你的内容不应用于模型训练【官方】。三个爬虫「各自独立配置」【官方】。
国内厂商里,像这样把训练、搜索、用户触发三类分开发布文档的,目前只有月之暗面【推断】。
屏蔽 KimiBot 会改变什么?#
屏蔽 KimiBot 只影响训练,不影响 Kimi-SearchBot 建搜索索引,也不影响用户让 Kimi 读你的网页(Kimi-User)【官方】。官方还建议用 robots.txt 管理,而不是封 IP——封了 IP,它就读不到你最新的 robots.txt【官方】。
KimiBot 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; KimiBot/1.0; +https://www.kimi.com/policies/kimi-crawlers
怎么确认来访的真是 KimiBot?#
对照官方 IP 列表 https://www.kimi.com/policies/kimibot.json。官方原话:来源 IP 在列表范围内,就说明来自 Kimi【官方】。
robots.txt 怎么放行或屏蔽 KimiBot?#
# 放行
User-agent: KimiBot
Allow: /
# 屏蔽
User-agent: KimiBot
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "KimiBot") {
return 403;
}
本站 15 天里 KimiBot 来了几次?#
0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 KimiBot【实测】。计数口径见总表。
关于 KimiBot 的常见误解#
「屏蔽 KimiBot,Kimi 就搜不到我。」搜索索引由 Kimi-SearchBot 负责,两者独立【官方】。
常见问题#
只想不让 Kimi 训练,但保留 Kimi 搜索,怎么写?#
只写 User-agent: KimiBot 加 Disallow: /,不要动 Kimi-SearchBot。Kimi 官方说三个爬虫各自独立配置。
KimiBot 支持 Crawl-delay 吗?#
支持。Kimi 官方页给了 Crawl-delay: 1 的示例,单位是秒,表示同一爬虫两次请求的最小间隔。
为什么官方不建议封 Kimi 的 IP?#
官方说它的 IP 范围会变,封 IP 会让它读不到你最新的 robots.txt,反而无法按你的设置执行。
和 KimiBot 相关的爬虫#
同公司的其他爬虫#
- Kimi-SearchBot:AI 搜索索引
- Kimi-User:用户触发
- 月之暗面(Kimi)的全部爬虫与 robots 写法
同用途的其他爬虫#
- HySpider:腾讯
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Google-Extended:Google
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板