用户触发类 AI 爬虫:ChatGPT-User 等 4 个名字与 robots 的关系
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:用户触发类爬虫只在用户提问、或让 AI 读某个网页时才来,不做批量抓取。四家里只有 Anthropic 说禁止后就不再取回;OpenAI、Kimi 说 robots「可能不适用」,Perplexity 说「通常忽略」。
什么算用户触发类爬虫?#
这类请求由真人的一次提问触发:用户让 AI 总结一篇文章、或回答需要实时网页的问题,AI 就去取那几页【官方】。它们不决定你能否出现在 AI 搜索里,管搜索的是另一个名字,例如 ChatGPT 搜索看 OAI-SearchBot【官方】。
对 robots.txt,四家说法不同:Claude-User 被禁止后就不再按用户请求取回;ChatGPT-User 和 Kimi-User 的官方原话是 robots 规则可能不适用;Perplexity-User 通常忽略 robots【官方】。所以这一类写进 robots.txt,只对 Claude-User 有官方承诺。
本站 15 天只见到 ChatGPT-User,11 次里完整 IP 时段 9 次不在 OpenAI 公布的段内【实测】:这个名字被冒充的比例,比它真来的次数还高。
4 个用户触发类爬虫一览#
| 爬虫 | 公司 | UA 里的名字 | 是否遵守 robots | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|---|
| Kimi-User | 月之暗面 | Kimi-User | 官方说可能不直接适用 | 官方文档 | 0 |
| ChatGPT-User | OpenAI | ChatGPT-User | 官方说可能不适用 | 官方文档 | 11 |
| Claude-User | Anthropic | Claude-User | 官方说遵守(禁止后不再取回) | 官方文档 | 0 |
| Perplexity-User | Perplexity | Perplexity-User | 官方说通常忽略 | 官方文档 | 0 |
本站 15 天里用户触发类爬虫来了多少?#
用户触发类合计 11 次,最多的是 ChatGPT-User(11 次);按官方方法核验不通过 9 次,约占 81.8%。3 个名字一次都没出现:Kimi-User、Claude-User、Perplexity-User【实测】。
| 公司 | 条目 | 本站 15 天访问【实测】 | 核验不通过 |
|---|---|---|---|
| 月之暗面 | Kimi-User | 0 | 0 |
| OpenAI | ChatGPT-User | 11 | 9 |
| Anthropic | Claude-User | 0 | 0 |
| Perplexity | Perplexity-User | 0 | 0 |
| 合计 | 4 个 | 11 | 9 |
日志截至 2026-11-08 21:22(北京时间);访问按 UA 子串计数,含冒充者;核验不通过取自 crawlers-verify.json。
用户触发类爬虫的 robots.txt 模板#
# 屏蔽全部用户触发类爬虫
User-agent: Kimi-User
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Disallow: /
# 放行全部用户触发类爬虫
User-agent: Kimi-User
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
除 Claude-User 外,屏蔽规则不一定生效【官方】。真要拦,只能在服务器上按 UA 加官方 IP 段一起判断,单看 UA 会把冒充者和真请求混在一起【推断】。
和用户触发类爬虫相关的页面#
用户触发类爬虫详情#
- Kimi-User:月之暗面
- ChatGPT-User:OpenAI
- Claude-User:Anthropic
- Perplexity-User:Perplexity