OpenAI 的 3 个爬虫:GPTBot、OAI-SearchBot、ChatGPT-User 各管什么

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. OpenAI 有哪些爬虫?
  2. OpenAI 官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里 OpenAI 的爬虫来了几次?
  5. 一次放行或屏蔽 OpenAI 的全部爬虫
  6. 和 OpenAI 相关的页面
    1. OpenAI 的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:OpenAI 把训练、ChatGPT 搜索、用户触发拆成三个名字,设置互相独立:挡掉 GPTBot 不影响 ChatGPT 搜索收录。本站日志里三个都来过,ChatGPT-User 的 11 次里有 9 次核验没通过。

OpenAI 有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
GPTBotGPTBot训练官方文档155
OAI-SearchBotOAI-SearchBotAI 搜索索引官方文档88
ChatGPT-UserChatGPT-User用户触发官方文档11

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。

OpenAI 官方公开了什么?#

三个名字写在同一页开发者文档里【官方】:GPTBot 抓的内容可能用于训练生成式 AI 基础模型;OAI-SearchBot 决定网站能否出现在 ChatGPT 的搜索答案里;ChatGPT-User 是用户在 ChatGPT 或自定义 GPT 里提问、调用 GPT Actions 时去访问网页用的。三者各有一份公开的 IP 列表(gptbot.json、searchbot.json、chatgpt-user.json)。

文档里有三处细节:GPTBot 和 OAI-SearchBot 都放行时,OpenAI 可能只抓一次、两种用途共用;改了 robots.txt,ChatGPT 搜索结果大约 24 小时后才调整;ChatGPT-User 由用户发起,robots 规则「可能不适用」【官方】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
GPTBot官方说遵守有155 次中 2 次不通过
OAI-SearchBot官方说遵守有88 次中 0 次不通过
ChatGPT-User官方说可能不适用有11 次中 9 次不通过

本站 15 天里 OpenAI 的爬虫来了几次?#

OpenAI 的 3 个条目在本站 15 天里合计 254 次,最多的是 GPTBot(155 次);按官方 IP 段或反查核验,不通过的有 11 次【实测】。

一次放行或屏蔽 OpenAI 的全部爬虫#

# 屏蔽 OpenAI 的全部爬虫
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Disallow: /
# 放行 OpenAI 的全部爬虫
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /

只挡训练、其余照常:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /

ChatGPT-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。

OpenAI 的爬虫详情#

同用途的其他公司爬虫#

其他#