GPTBot 是什么:OpenAI 训练爬虫,屏蔽它不影响 ChatGPT 搜索

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. GPTBot 是谁家的、拿去做什么?
  2. 屏蔽 GPTBot 会改变什么?
  3. GPTBot 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 GPTBot?
  5. robots.txt 怎么放行或屏蔽 GPTBot?
  6. 本站 15 天里 GPTBot 来了几次?
  7. 关于 GPTBot 的常见误解
  8. 常见问题
    1. 屏蔽 GPTBot 会影响 ChatGPT 搜索吗?
    2. GPTBot 的 UA 里为什么有时带 robots.txt?
    3. 怎么确认来访的是真 GPTBot?
  9. 和 GPTBot 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:GPTBot 是 OpenAI 的训练爬虫。屏蔽它只表示「别拿我训练模型」,不会让你从 ChatGPT 搜索里消失——ChatGPT 搜索用的是 OAI-SearchBot。只想挡训练,就只屏蔽 GPTBot。

GPTBot
归属OpenAI
服务的产品OpenAI 基础模型训练
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots官方说遵守
依据官方文档

GPTBot 是谁家的、拿去做什么?#

OpenAI 官方说明:GPTBot 抓取的内容可能用于训练生成式 AI 基础模型;禁止 GPTBot 表示网站内容不应用于训练【官方】。每个设置互相独立,例如可以允许 OAI-SearchBot 出现在搜索结果,同时禁止 GPTBot【官方】。

如果 GPTBot 和 OAI-SearchBot 都被允许,OpenAI 可能只抓一次、两种用途共用【官方】。它抓 robots.txt 时,UA 里可能多一个 robots.txt 标记【官方】。

屏蔽 GPTBot 会改变什么?#

屏蔽 GPTBot:内容不进 OpenAI 训练【官方】;ChatGPT 搜索能不能引用你,取决于 OAI-SearchBot,不受影响【官方】。

GPTBot 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

怎么确认来访的真是 GPTBot?#

对照官方 IP 列表 https://openai.com/gptbot.json【官方】。本站完整 IP 时段 104 次全部落在列表内【实测】。

robots.txt 怎么放行或屏蔽 GPTBot?#

# 放行
User-agent: GPTBot
Allow: /
# 屏蔽
User-agent: GPTBot
Disallow: /

服务器层面直接拒绝(nginx,server {} 内):

if ($http_user_agent ~* "GPTBot") {
    return 403;
}

本站 15 天里 GPTBot 来了几次?#

2026-10-25 01:00 至 11-08 21:22,北京时间【实测】
自称 GPTBot155 次
opengeo.page 主站 / 同机其他站点123 / 32
最后一次2026-11-08 00:02(北京时间)
完整 IP 时段核验通过104 / 104
匿名时段 /24 重合 / 不重合49 / 2

按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。

关于 GPTBot 的常见误解#

「屏蔽 GPTBot,ChatGPT 就搜不到我。」搜索由 OAI-SearchBot 负责,两者独立【官方】。

「日志里的 GPTBot 都是 OpenAI。」本站有 2 次简化 UA 来自一个境外托管网段,不在官方段【实测】。

常见问题#

屏蔽 GPTBot 会影响 ChatGPT 搜索吗?#

不会。OpenAI 官方说各爬虫设置独立,ChatGPT 搜索由 OAI-SearchBot 负责。只禁止 GPTBot,表示内容不用于训练。

GPTBot 的 UA 里为什么有时带 robots.txt?#

OpenAI 官方说明,GPTBot 抓取 robots.txt 文件时,可能在 UA 里加一个 robots.txt 标记,方便站长区分。

怎么确认来访的是真 GPTBot?#

看来访 IP 是否落在 openai.com/gptbot.json 公布的地址段里。本站完整 IP 时段的 104 次全部符合,另有 2 次简化 UA 来自一个境外托管网段,不符合。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#