OpenAI 的 3 个爬虫:GPTBot、OAI-SearchBot、ChatGPT-User 各管什么
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:OpenAI 把训练、ChatGPT 搜索、用户触发拆成三个名字,设置互相独立:挡掉 GPTBot 不影响 ChatGPT 搜索收录。本站日志里三个都来过,ChatGPT-User 的 11 次里有 9 次核验没通过。
OpenAI 有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| GPTBot | GPTBot | 训练 | 官方文档 | 155 |
| OAI-SearchBot | OAI-SearchBot | AI 搜索索引 | 官方文档 | 88 |
| ChatGPT-User | ChatGPT-User | 用户触发 | 官方文档 | 11 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。
OpenAI 官方公开了什么?#
三个名字写在同一页开发者文档里【官方】:GPTBot 抓的内容可能用于训练生成式 AI 基础模型;OAI-SearchBot 决定网站能否出现在 ChatGPT 的搜索答案里;ChatGPT-User 是用户在 ChatGPT 或自定义 GPT 里提问、调用 GPT Actions 时去访问网页用的。三者各有一份公开的 IP 列表(gptbot.json、searchbot.json、chatgpt-user.json)。
文档里有三处细节:GPTBot 和 OAI-SearchBot 都放行时,OpenAI 可能只抓一次、两种用途共用;改了 robots.txt,ChatGPT 搜索结果大约 24 小时后才调整;ChatGPT-User 由用户发起,robots 规则「可能不适用」【官方】。
- 官方文档(GPTBot、OAI-SearchBot、ChatGPT-User):https://platform.openai.com/docs/bots
- IP 列表(GPTBot):https://openai.com/gptbot.json
- IP 列表(OAI-SearchBot):https://openai.com/searchbot.json
- IP 列表(ChatGPT-User):https://openai.com/chatgpt-user.json
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| GPTBot | 官方说遵守 | 有 | 155 次中 2 次不通过 |
| OAI-SearchBot | 官方说遵守 | 有 | 88 次中 0 次不通过 |
| ChatGPT-User | 官方说可能不适用 | 有 | 11 次中 9 次不通过 |
本站 15 天里 OpenAI 的爬虫来了几次?#
OpenAI 的 3 个条目在本站 15 天里合计 254 次,最多的是 GPTBot(155 次);按官方 IP 段或反查核验,不通过的有 11 次【实测】。
一次放行或屏蔽 OpenAI 的全部爬虫#
# 屏蔽 OpenAI 的全部爬虫
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Disallow: /
# 放行 OpenAI 的全部爬虫
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /
只挡训练、其余照常:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /
ChatGPT-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。
和 OpenAI 相关的页面#
OpenAI 的爬虫详情#
- GPTBot:训练
- OAI-SearchBot:AI 搜索索引
- ChatGPT-User:用户触发
同用途的其他公司爬虫#
- 训练类:HySpider、KimiBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Amazonbot、Meta-ExternalAgent
- AI 搜索索引类:Kimi-SearchBot、Claude-SearchBot、PerplexityBot
- 用户触发类:Kimi-User、Claude-User、Perplexity-User