ClaudeBot 是什么:Anthropic 训练爬虫的 UA、IP 与 robots 写法

· 约 6 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. ClaudeBot 是谁家的、拿去做什么?
  2. 屏蔽 ClaudeBot 会改变什么?
  3. ClaudeBot 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 ClaudeBot?
  5. robots.txt 怎么放行或屏蔽 ClaudeBot?
  6. 本站 15 天里 ClaudeBot 来了几次?
  7. 关于 ClaudeBot 的常见误解
  8. 常见问题
    1. 屏蔽 ClaudeBot 会影响 Claude 搜索吗?
    2. ClaudeBot 支持 Crawl-delay 吗?
    3. robots.txt 和 aipref 信号冲突时听谁的?
  9. 和 ClaudeBot 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:ClaudeBot 是 Anthropic 的训练爬虫。屏蔽它表示「以后的内容别进 Claude 训练」,不影响 Claude 搜索(Claude-SearchBot)和用户让 Claude 读网页(Claude-User)。只想挡训练,就只屏蔽 ClaudeBot。

ClaudeBot
归属Anthropic
服务的产品Claude 模型训练
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots官方说遵守
依据官方文档

ClaudeBot 是谁家的、拿去做什么?#

Anthropic 官方说明:ClaudeBot 收集可能有助于训练的网页内容;网站限制 ClaudeBot,表示今后的内容应排除在训练数据之外【官方】。官方支持非标准的 Crawl-delay【官方】。

2026-10-30 起,Anthropic 开始识别基于 IETF aipref 草案的「不用于 AI 训练」偏好信号;robots.txt 里点名 ClaudeBot 的规则优先于这个通用信号【官方】。

官方只给了 token,没有给完整 UA【官方】。本站日志里看到的是 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)【实测】。

屏蔽 ClaudeBot 会改变什么?#

屏蔽 ClaudeBot 只影响训练【官方】。官方提醒:用封 IP 代替 robots 可能不可靠,因为会挡住它读取你的 robots.txt【官方】。

ClaudeBot 的 User-Agent 长什么样?#

官方只给了名字 ClaudeBot,没有给完整 UA 字符串【官方】。

本站日志里实际看到的 UA【实测】:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

怎么确认来访的真是 ClaudeBot?#

对照官方 IP 列表 https://claude.com/crawling/bots.json(三个 Anthropic 爬虫共用一份)【官方】。本站完整 IP 时段 92 次全部落在列表内【实测】。

robots.txt 怎么放行或屏蔽 ClaudeBot?#

# 放行
User-agent: ClaudeBot
Allow: /
# 屏蔽
User-agent: ClaudeBot
Disallow: /

服务器层面直接拒绝(nginx,server {} 内):

if ($http_user_agent ~* "ClaudeBot") {
    return 403;
}

本站 15 天里 ClaudeBot 来了几次?#

2026-10-25 01:00 至 11-08 21:22,北京时间【实测】
自称 ClaudeBot122 次
opengeo.page 主站 / 同机其他站点110 / 12
最后一次2026-11-08 01:39(北京时间)
完整 IP 时段核验通过92 / 92
匿名时段 /24 重合 / 不重合28 / 2

按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。

关于 ClaudeBot 的常见误解#

「完整 UA 对得上就是真的。」GreyNoise 报告里,冒充者的 ClaudeBot UA 与官方逐字一致,只有 IP 能区分【推断】。

常见问题#

屏蔽 ClaudeBot 会影响 Claude 搜索吗?#

不会。Anthropic 把训练、搜索、用户触发分成 ClaudeBot、Claude-SearchBot、Claude-User 三个,分别控制。

ClaudeBot 支持 Crawl-delay 吗?#

支持。Anthropic 官方给了 User-agent: ClaudeBot 加 Crawl-delay: 1 的示例。

robots.txt 和 aipref 信号冲突时听谁的?#

Anthropic 官方说,robots.txt 里点名 ClaudeBot 的规则更具体,优先执行;没有点名时才按通用的 aipref 设置。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#