AI 搜索索引爬虫:决定能否出现在 AI 搜索回答里的 4 个名字
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:AI 搜索索引类爬虫决定你的网页能不能出现在对应 AI 的搜索回答里,想被 AI 引用就应该放行。收录表里只有 4 家公开了这类爬虫,国内只有 Kimi-SearchBot。
什么算 AI 搜索索引类爬虫?#
这类爬虫为 AI 助手的联网搜索建索引,和训练分开设置【官方】。OpenAI 说被 OAI-SearchBot 排除的网站不会出现在 ChatGPT 搜索答案中;Perplexity 说 PerplexityBot 不用于训练、建议放行;Anthropic 说 Claude-SearchBot 用来提高搜索回答的质量;Kimi 说 Kimi-SearchBot 建立 Kimi 的搜索索引【官方】。
豆包、DeepSeek、千问、元宝、文心都没有公开这类爬虫【官方】。它们回答时用的网页,多半来自背后的搜索引擎或自家内容,所以对国内 AI 来说,搜索引擎爬虫可能比这一类更要紧【推断】。本站 OAI-SearchBot 的 88 次里有 22 次是来取 robots.txt 的【实测】。
4 个 AI 搜索索引类爬虫一览#
| 爬虫 | 公司 | UA 里的名字 | 是否遵守 robots | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|---|
| Kimi-SearchBot | 月之暗面 | Kimi-SearchBot | 官方说遵守 | 官方文档 | 0 |
| OAI-SearchBot | OpenAI | OAI-SearchBot | 官方说遵守 | 官方文档 | 88 |
| Claude-SearchBot | Anthropic | Claude-SearchBot | 官方说遵守 | 官方文档 | 0 |
| PerplexityBot | Perplexity | PerplexityBot | 官方说遵守 | 官方文档 | 10 |
本站 15 天里 AI 搜索索引类爬虫来了多少?#
AI 搜索索引类合计 98 次,最多的是 OAI-SearchBot(88 次);按官方方法核验不通过 2 次,约占 2.0%。2 个名字一次都没出现:Kimi-SearchBot、Claude-SearchBot【实测】。
| 公司 | 条目 | 本站 15 天访问【实测】 | 核验不通过 |
|---|---|---|---|
| 月之暗面 | Kimi-SearchBot | 0 | 0 |
| OpenAI | OAI-SearchBot | 88 | 0 |
| Anthropic | Claude-SearchBot | 0 | 0 |
| Perplexity | PerplexityBot | 10 | 2 |
| 合计 | 4 个 | 98 | 2 |
日志截至 2026-11-08 21:22(北京时间);访问按 UA 子串计数,含冒充者;核验不通过取自 crawlers-verify.json。
AI 搜索索引类爬虫的 robots.txt 模板#
# 屏蔽全部 AI 搜索索引类爬虫
User-agent: Kimi-SearchBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /
# 放行全部 AI 搜索索引类爬虫
User-agent: Kimi-SearchBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
官方都说改 robots.txt 后要等一段时间才生效:OpenAI 约 24 小时,Perplexity 最多 24 小时【官方】。放行之外,OpenAI 和 Perplexity 还建议允许它们公布的 IP 段,别在防火墙层面误拦【官方】。
和 AI 搜索索引类爬虫相关的页面#
AI 搜索索引类爬虫详情#
- Kimi-SearchBot:月之暗面
- OAI-SearchBot:OpenAI
- Claude-SearchBot:Anthropic
- PerplexityBot:Perplexity