Claude-User 是什么:用户让 Claude 读网页时的访问,可用 robots 禁止

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Claude-User 是谁家的、拿去做什么?
  2. 屏蔽 Claude-User 会改变什么?
  3. Claude-User 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Claude-User?
  5. robots.txt 怎么放行或屏蔽 Claude-User?
  6. 本站 15 天里 Claude-User 来了几次?
  7. 关于 Claude-User 的常见误解
  8. 常见问题
    1. Claude-User 遵守 robots.txt 吗?
    2. 禁止 Claude-User 有什么代价?
    3. Claude-User 的完整 UA 是什么?
  9. 和 Claude-User 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Claude-User 是用户在 Claude 里提问、需要读网页时的访问。和多数「用户触发」抓取不同,Anthropic 明说它听 robots:禁止它,Claude 就不再按用户请求取你的页面,代价是在用户检索里的可见度下降。

Claude-User
归属Anthropic
服务的产品Claude 用户提问时的实时抓取
用途类型用户触发(用户提问或点名网页时才来)
是否遵守 robots官方说遵守(禁止后不再取回)
依据官方文档

Claude-User 是谁家的、拿去做什么?#

官方说明:用户向 Claude 提问时,它可能用 Claude-User 访问网站;Claude-User 让站长控制哪些网站能被这类用户请求访问【官方】。

同样是用户触发,OpenAI 说 ChatGPT-User「robots 规则可能不适用」,Perplexity 说 Perplexity-User「通常忽略 robots」【官方】;Anthropic 这里写的是禁止后就不再取回【官方】。

屏蔽 Claude-User 会改变什么?#

禁止 Claude-User:Claude 不会再按用户的提问取回你的内容,官方说这可能降低你在用户检索中的可见度【官方】。

Claude-User 的 User-Agent 长什么样?#

官方只给了名字 Claude-User,没有给完整 UA 字符串【官方】。

怎么确认来访的真是 Claude-User?#

对照官方 IP 列表 https://claude.com/crawling/bots.json【官方】。官方没有给完整 UA 字符串。

robots.txt 怎么放行或屏蔽 Claude-User?#

# 放行
User-agent: Claude-User
Allow: /
# 屏蔽
User-agent: Claude-User
Disallow: /

本站 15 天里 Claude-User 来了几次?#

0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 Claude-User【实测】。计数口径见总表。

关于 Claude-User 的常见误解#

「用户触发的抓取都不听 robots。」Anthropic 对 Claude-User 的说法正相反【官方】。

常见问题#

Claude-User 遵守 robots.txt 吗?#

遵守。Anthropic 官方说禁止 Claude-User 后,系统不会再按用户请求取回你的内容。

禁止 Claude-User 有什么代价?#

官方说这可能降低你的网站在用户检索中的可见度,也就是用户在 Claude 里问到相关问题时,Claude 读不到你的页面。

Claude-User 的完整 UA 是什么?#

Anthropic 官方页只给了 token Claude-User,没有给完整 UA 字符串,本表也就没有填。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#