ClaudeBot 是什么:Anthropic 训练爬虫的 UA、IP 与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:ClaudeBot 是 Anthropic 的训练爬虫。屏蔽它表示「以后的内容别进 Claude 训练」,不影响 Claude 搜索(Claude-SearchBot)和用户让 Claude 读网页(Claude-User)。只想挡训练,就只屏蔽 ClaudeBot。
| ClaudeBot | |
|---|---|
| 归属 | Anthropic |
| 服务的产品 | Claude 模型训练 |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
ClaudeBot 是谁家的、拿去做什么?#
Anthropic 官方说明:ClaudeBot 收集可能有助于训练的网页内容;网站限制 ClaudeBot,表示今后的内容应排除在训练数据之外【官方】。官方支持非标准的 Crawl-delay【官方】。
2026-10-30 起,Anthropic 开始识别基于 IETF aipref 草案的「不用于 AI 训练」偏好信号;robots.txt 里点名 ClaudeBot 的规则优先于这个通用信号【官方】。
官方只给了 token,没有给完整 UA【官方】。本站日志里看到的是 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)【实测】。
屏蔽 ClaudeBot 会改变什么?#
屏蔽 ClaudeBot 只影响训练【官方】。官方提醒:用封 IP 代替 robots 可能不可靠,因为会挡住它读取你的 robots.txt【官方】。
ClaudeBot 的 User-Agent 长什么样?#
官方只给了名字 ClaudeBot,没有给完整 UA 字符串【官方】。
本站日志里实际看到的 UA【实测】:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
- 官方文档:https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- 官方 IP 列表:https://claude.com/crawling/bots.json
怎么确认来访的真是 ClaudeBot?#
对照官方 IP 列表 https://claude.com/crawling/bots.json(三个 Anthropic 爬虫共用一份)【官方】。本站完整 IP 时段 92 次全部落在列表内【实测】。
robots.txt 怎么放行或屏蔽 ClaudeBot?#
# 放行
User-agent: ClaudeBot
Allow: /
# 屏蔽
User-agent: ClaudeBot
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "ClaudeBot") {
return 403;
}
本站 15 天里 ClaudeBot 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 ClaudeBot | 122 次 |
| opengeo.page 主站 / 同机其他站点 | 110 / 12 |
| 最后一次 | 2026-11-08 01:39(北京时间) |
| 完整 IP 时段核验通过 | 92 / 92 |
| 匿名时段 /24 重合 / 不重合 | 28 / 2 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 ClaudeBot 的常见误解#
「完整 UA 对得上就是真的。」GreyNoise 报告里,冒充者的 ClaudeBot UA 与官方逐字一致,只有 IP 能区分【推断】。
常见问题#
屏蔽 ClaudeBot 会影响 Claude 搜索吗?#
不会。Anthropic 把训练、搜索、用户触发分成 ClaudeBot、Claude-SearchBot、Claude-User 三个,分别控制。
ClaudeBot 支持 Crawl-delay 吗?#
支持。Anthropic 官方给了 User-agent: ClaudeBot 加 Crawl-delay: 1 的示例。
robots.txt 和 aipref 信号冲突时听谁的?#
Anthropic 官方说,robots.txt 里点名 ClaudeBot 的规则更具体,优先执行;没有点名时才按通用的 aipref 设置。
和 ClaudeBot 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- HySpider:腾讯
- KimiBot:月之暗面
- GPTBot:OpenAI
- Google-Extended:Google
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板