Claude-SearchBot 是什么:Claude 搜索的索引爬虫与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Claude-SearchBot 是 Claude 搜索的索引爬虫。想在 Claude 的搜索回答里被找到,就放行它;屏蔽它不影响训练(那是 ClaudeBot),影响的是搜索可见度。
| Claude-SearchBot | |
|---|---|
| 归属 | Anthropic |
| 服务的产品 | Claude 搜索结果质量/索引 |
| 用途类型 | AI 搜索索引(决定能否出现在 AI 搜索回答里) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
Claude-SearchBot 是谁家的、拿去做什么?#
官方说明:Claude-SearchBot 浏览网页以提高用户搜索结果的质量,专门分析内容来提升搜索回答的相关性和准确性【官方】。
屏蔽 Claude-SearchBot 会改变什么?#
禁止它,Anthropic 不会为搜索优化索引你的内容,官方说这可能降低你在用户搜索结果里的可见度和准确性【官方】。
Claude-SearchBot 的 User-Agent 长什么样?#
官方只给了名字 Claude-SearchBot,没有给完整 UA 字符串【官方】。
- 官方文档:https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- 官方 IP 列表:https://claude.com/crawling/bots.json
怎么确认来访的真是 Claude-SearchBot?#
对照官方 IP 列表 https://claude.com/crawling/bots.json【官方】。本站这两周没有它的访问,无从实测;核验思路见伪装爬虫页。
robots.txt 怎么放行或屏蔽 Claude-SearchBot?#
# 放行
User-agent: Claude-SearchBot
Allow: /
# 屏蔽
User-agent: Claude-SearchBot
Disallow: /
本站 15 天里 Claude-SearchBot 来了几次?#
0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 Claude-SearchBot【实测】。计数口径见总表。
关于 Claude-SearchBot 的常见误解#
「屏蔽 ClaudeBot 就等于退出 Claude 搜索。」搜索由 Claude-SearchBot 负责【官方】。
常见问题#
Claude-SearchBot 和 ClaudeBot 有什么区别?#
ClaudeBot 收集可能用于训练的内容;Claude-SearchBot 为 Claude 的搜索结果索引网页。Anthropic 让站长分别控制。
本站为什么没见过 Claude-SearchBot?#
2026-10-25 至 11-08 的日志里确实是 0 次,同期 ClaudeBot 来了 122 次。原因官方没有说明。
Claude-SearchBot 的 IP 在哪里查?#
和 ClaudeBot 共用一份列表:claude.com/crawling/bots.json。
和 Claude-SearchBot 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- Kimi-SearchBot:月之暗面
- OAI-SearchBot:OpenAI
- PerplexityBot:Perplexity
- 全部AI 搜索索引类爬虫与 robots 模板