Anthropic 的 3 个爬虫:ClaudeBot、Claude-SearchBot、Claude-User
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Anthropic 同样把训练、搜索、用户触发分成三个名字,而且是收录表里唯一写明「禁止 Claude-User 后就不再按用户请求取回内容」的公司。本站 15 天只见到 ClaudeBot,另外两个一次也没出现。
Anthropic 有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| ClaudeBot | ClaudeBot | 训练 | 官方文档 | 122 |
| Claude-User | Claude-User | 用户触发 | 官方文档 | 0 |
| Claude-SearchBot | Claude-SearchBot | AI 搜索索引 | 官方文档 | 0 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。
Anthropic 官方公开了什么?#
Anthropic 在一篇帮助中心文章里说明了三个爬虫【官方】:ClaudeBot 收集可能有助于训练的网页,限制它表示今后的内容排除在训练之外;Claude-SearchBot 用来提高搜索回答的相关性和准确性;Claude-User 在用户向 Claude 提问时访问网站。三者共用一份 IP 列表(claude.com/crawling/bots.json),官方只给了名字,没有给完整 UA。
另外两点:官方支持非标准的 Crawl-delay;2026-10-30 起还识别基于 IETF aipref 草案的「不用于 AI 训练」信号,但 robots.txt 里点名 ClaudeBot 的规则优先【官方】。
- 官方文档(ClaudeBot、Claude-User、Claude-SearchBot):https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- IP 列表(ClaudeBot、Claude-User、Claude-SearchBot):https://claude.com/crawling/bots.json
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| ClaudeBot | 官方说遵守 | 有 | 122 次中 2 次不通过 |
| Claude-User | 官方说遵守(禁止后不再取回) | 有 | 未出现 |
| Claude-SearchBot | 官方说遵守 | 有 | 未出现 |
本站 15 天里 Anthropic 的爬虫来了几次?#
Anthropic 的 3 个条目在本站 15 天里合计 122 次,最多的是 ClaudeBot(122 次);按官方 IP 段或反查核验,不通过的有 2 次;Claude-User、Claude-SearchBot 一次都没出现【实测】。
一次放行或屏蔽 Anthropic 的全部爬虫#
# 屏蔽 Anthropic 的全部爬虫
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
Disallow: /
# 放行 Anthropic 的全部爬虫
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
Allow: /
只挡训练、其余照常:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-User
User-agent: Claude-SearchBot
Allow: /
Claude-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。
和 Anthropic 相关的页面#
Anthropic 的爬虫详情#
- ClaudeBot:训练
- Claude-User:用户触发
- Claude-SearchBot:AI 搜索索引
同用途的其他公司爬虫#
- 训练类:HySpider、KimiBot、GPTBot、Google-Extended、Applebot-Extended、CCBot、Amazonbot、Meta-ExternalAgent
- 用户触发类:Kimi-User、ChatGPT-User、Perplexity-User
- AI 搜索索引类:Kimi-SearchBot、OAI-SearchBot、PerplexityBot