Claude-SearchBot 是什么:Claude 搜索的索引爬虫与 robots 写法

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Claude-SearchBot 是谁家的、拿去做什么?
  2. 屏蔽 Claude-SearchBot 会改变什么?
  3. Claude-SearchBot 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Claude-SearchBot?
  5. robots.txt 怎么放行或屏蔽 Claude-SearchBot?
  6. 本站 15 天里 Claude-SearchBot 来了几次?
  7. 关于 Claude-SearchBot 的常见误解
  8. 常见问题
    1. Claude-SearchBot 和 ClaudeBot 有什么区别?
    2. 本站为什么没见过 Claude-SearchBot?
    3. Claude-SearchBot 的 IP 在哪里查?
  9. 和 Claude-SearchBot 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Claude-SearchBot 是 Claude 搜索的索引爬虫。想在 Claude 的搜索回答里被找到,就放行它;屏蔽它不影响训练(那是 ClaudeBot),影响的是搜索可见度。

Claude-SearchBot
归属Anthropic
服务的产品Claude 搜索结果质量/索引
用途类型AI 搜索索引(决定能否出现在 AI 搜索回答里)
是否遵守 robots官方说遵守
依据官方文档

Claude-SearchBot 是谁家的、拿去做什么?#

官方说明:Claude-SearchBot 浏览网页以提高用户搜索结果的质量,专门分析内容来提升搜索回答的相关性和准确性【官方】。

屏蔽 Claude-SearchBot 会改变什么?#

禁止它,Anthropic 不会为搜索优化索引你的内容,官方说这可能降低你在用户搜索结果里的可见度和准确性【官方】。

Claude-SearchBot 的 User-Agent 长什么样?#

官方只给了名字 Claude-SearchBot,没有给完整 UA 字符串【官方】。

怎么确认来访的真是 Claude-SearchBot?#

对照官方 IP 列表 https://claude.com/crawling/bots.json【官方】。本站这两周没有它的访问,无从实测;核验思路见伪装爬虫页。

robots.txt 怎么放行或屏蔽 Claude-SearchBot?#

# 放行
User-agent: Claude-SearchBot
Allow: /
# 屏蔽
User-agent: Claude-SearchBot
Disallow: /

本站 15 天里 Claude-SearchBot 来了几次?#

0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 Claude-SearchBot【实测】。计数口径见总表。

关于 Claude-SearchBot 的常见误解#

「屏蔽 ClaudeBot 就等于退出 Claude 搜索。」搜索由 Claude-SearchBot 负责【官方】。

常见问题#

Claude-SearchBot 和 ClaudeBot 有什么区别?#

ClaudeBot 收集可能用于训练的内容;Claude-SearchBot 为 Claude 的搜索结果索引网页。Anthropic 让站长分别控制。

本站为什么没见过 Claude-SearchBot?#

2026-10-25 至 11-08 的日志里确实是 0 次,同期 ClaudeBot 来了 122 次。原因官方没有说明。

Claude-SearchBot 的 IP 在哪里查?#

和 ClaudeBot 共用一份列表:claude.com/crawling/bots.json。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#