月之暗面 Kimi 的 3 个爬虫:KimiBot、Kimi-SearchBot、Kimi-User
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:国内厂商里,把训练、搜索、用户触发三类爬虫分开写成官方文档的只有月之暗面。三个名字各有 IP 列表、各自独立设置;本站 15 天日志里三个都没出现过。
月之暗面(Kimi)有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| KimiBot | KimiBot | 训练 | 官方文档 | 0 |
| Kimi-SearchBot | Kimi-SearchBot | AI 搜索索引 | 官方文档 | 0 |
| Kimi-User | Kimi-User | 用户触发 | 官方文档 | 0 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。
月之暗面(Kimi)官方公开了什么?#
Kimi 的爬虫说明页一次列出三个名字【官方】:KimiBot 抓取可能用于训练 Kimi 基础模型的内容,禁止它表示内容不应用于训练;Kimi-SearchBot 分析页面相关性、建立 Kimi 的搜索索引;Kimi-User 在用户让 Kimi 总结某篇文章、或回答需要实时检索的问题时访问网页。
官方说三者「各自独立配置」,用行业标准的 robots.txt 指令控制,支持 Crawl-delay,并分别公布了 kimibot.json、kimi-searchbot.json、kimi-user.json 三份 IP 列表【官方】。Kimi-User 是用户触发,官方原话是 robots 规则「may not directly apply」【官方】。
- 官方文档(KimiBot、Kimi-SearchBot、Kimi-User):https://www.kimi.com/policies/kimi-crawlers
- IP 列表(KimiBot):https://www.kimi.com/policies/kimibot.json
- IP 列表(Kimi-SearchBot):https://www.kimi.com/policies/kimi-searchbot.json
- IP 列表(Kimi-User):https://www.kimi.com/policies/kimi-user.json
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| KimiBot | 官方说遵守 | 有 | 未出现 |
| Kimi-SearchBot | 官方说遵守 | 有 | 未出现 |
| Kimi-User | 官方说可能不直接适用 | 有 | 未出现 |
本站 15 天里月之暗面(Kimi)的爬虫来了几次?#
月之暗面(Kimi)的 KimiBot、Kimi-SearchBot、Kimi-User 在本站 15 天的日志里一次都没出现【实测】。没来过不代表不会来,只说明这个新站还没被它们抓到。
一次放行或屏蔽月之暗面(Kimi)的全部爬虫#
# 屏蔽月之暗面(Kimi)的全部爬虫
User-agent: KimiBot
User-agent: Kimi-SearchBot
User-agent: Kimi-User
Disallow: /
# 放行月之暗面(Kimi)的全部爬虫
User-agent: KimiBot
User-agent: Kimi-SearchBot
User-agent: Kimi-User
Allow: /
只挡训练、其余照常:
User-agent: KimiBot
Disallow: /
User-agent: Kimi-SearchBot
User-agent: Kimi-User
Allow: /
Kimi-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。
和月之暗面(Kimi)相关的页面#
月之暗面(Kimi)的爬虫详情#
- KimiBot:训练
- Kimi-SearchBot:AI 搜索索引
- Kimi-User:用户触发
同用途的其他公司爬虫#
- 训练类:HySpider、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Amazonbot、Meta-ExternalAgent
- AI 搜索索引类:OAI-SearchBot、Claude-SearchBot、PerplexityBot
- 用户触发类:ChatGPT-User、Claude-User、Perplexity-User