用户触发类 AI 爬虫:ChatGPT-User 等 4 个名字与 robots 的关系

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 什么算用户触发类爬虫?
  2. 4 个用户触发类爬虫一览
  3. 本站 15 天里用户触发类爬虫来了多少?
  4. 用户触发类爬虫的 robots.txt 模板
  5. 和用户触发类爬虫相关的页面
    1. 用户触发类爬虫详情
    2. 其他用途
    3. 涉及的公司
    4. 其他

一句话结论:用户触发类爬虫只在用户提问、或让 AI 读某个网页时才来,不做批量抓取。四家里只有 Anthropic 说禁止后就不再取回;OpenAI、Kimi 说 robots「可能不适用」,Perplexity 说「通常忽略」。

什么算用户触发类爬虫?#

这类请求由真人的一次提问触发:用户让 AI 总结一篇文章、或回答需要实时网页的问题,AI 就去取那几页【官方】。它们不决定你能否出现在 AI 搜索里,管搜索的是另一个名字,例如 ChatGPT 搜索看 OAI-SearchBot【官方】。

对 robots.txt,四家说法不同:Claude-User 被禁止后就不再按用户请求取回;ChatGPT-User 和 Kimi-User 的官方原话是 robots 规则可能不适用;Perplexity-User 通常忽略 robots【官方】。所以这一类写进 robots.txt,只对 Claude-User 有官方承诺。

本站 15 天只见到 ChatGPT-User,11 次里完整 IP 时段 9 次不在 OpenAI 公布的段内【实测】:这个名字被冒充的比例,比它真来的次数还高。

4 个用户触发类爬虫一览#

爬虫公司UA 里的名字是否遵守 robots依据本站 15 天访问【实测】
Kimi-User月之暗面Kimi-User官方说可能不直接适用官方文档0
ChatGPT-UserOpenAIChatGPT-User官方说可能不适用官方文档11
Claude-UserAnthropicClaude-User官方说遵守(禁止后不再取回)官方文档0
Perplexity-UserPerplexityPerplexity-User官方说通常忽略官方文档0

本站 15 天里用户触发类爬虫来了多少?#

用户触发类合计 11 次,最多的是 ChatGPT-User(11 次);按官方方法核验不通过 9 次,约占 81.8%。3 个名字一次都没出现:Kimi-User、Claude-User、Perplexity-User【实测】。

公司条目本站 15 天访问【实测】核验不通过
月之暗面Kimi-User00
OpenAIChatGPT-User119
AnthropicClaude-User00
PerplexityPerplexity-User00
合计4 个119

日志截至 2026-11-08 21:22(北京时间);访问按 UA 子串计数,含冒充者;核验不通过取自 crawlers-verify.json。

用户触发类爬虫的 robots.txt 模板#

# 屏蔽全部用户触发类爬虫
User-agent: Kimi-User
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Disallow: /
# 放行全部用户触发类爬虫
User-agent: Kimi-User
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /

除 Claude-User 外,屏蔽规则不一定生效【官方】。真要拦,只能在服务器上按 UA 加官方 IP 段一起判断,单看 UA 会把冒充者和真请求混在一起【推断】。

用户触发类爬虫详情#

其他用途#

涉及的公司#

其他#