Anthropic 的 3 个爬虫:ClaudeBot、Claude-SearchBot、Claude-User

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Anthropic 有哪些爬虫?
  2. Anthropic 官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里 Anthropic 的爬虫来了几次?
  5. 一次放行或屏蔽 Anthropic 的全部爬虫
  6. 和 Anthropic 相关的页面
    1. Anthropic 的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:Anthropic 同样把训练、搜索、用户触发分成三个名字,而且是收录表里唯一写明「禁止 Claude-User 后就不再按用户请求取回内容」的公司。本站 15 天只见到 ClaudeBot,另外两个一次也没出现。

Anthropic 有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
ClaudeBotClaudeBot训练官方文档122
Claude-UserClaude-User用户触发官方文档0
Claude-SearchBotClaude-SearchBotAI 搜索索引官方文档0

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。

Anthropic 官方公开了什么?#

Anthropic 在一篇帮助中心文章里说明了三个爬虫【官方】:ClaudeBot 收集可能有助于训练的网页,限制它表示今后的内容排除在训练之外;Claude-SearchBot 用来提高搜索回答的相关性和准确性;Claude-User 在用户向 Claude 提问时访问网站。三者共用一份 IP 列表(claude.com/crawling/bots.json),官方只给了名字,没有给完整 UA。

另外两点:官方支持非标准的 Crawl-delay;2026-10-30 起还识别基于 IETF aipref 草案的「不用于 AI 训练」信号,但 robots.txt 里点名 ClaudeBot 的规则优先【官方】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
ClaudeBot官方说遵守有122 次中 2 次不通过
Claude-User官方说遵守(禁止后不再取回)有未出现
Claude-SearchBot官方说遵守有未出现

本站 15 天里 Anthropic 的爬虫来了几次?#

Anthropic 的 3 个条目在本站 15 天里合计 122 次,最多的是 ClaudeBot(122 次);按官方 IP 段或反查核验,不通过的有 2 次;Claude-User、Claude-SearchBot 一次都没出现【实测】。

一次放行或屏蔽 Anthropic 的全部爬虫#

# 屏蔽 Anthropic 的全部爬虫
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
Disallow: /
# 放行 Anthropic 的全部爬虫
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
Allow: /

只挡训练、其余照常:

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
User-agent: Claude-SearchBot
Allow: /

Claude-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。

Anthropic 的爬虫详情#

同用途的其他公司爬虫#

其他#