GPTBot 是什么:OpenAI 训练爬虫,屏蔽它不影响 ChatGPT 搜索
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:GPTBot 是 OpenAI 的训练爬虫。屏蔽它只表示「别拿我训练模型」,不会让你从 ChatGPT 搜索里消失——ChatGPT 搜索用的是 OAI-SearchBot。只想挡训练,就只屏蔽 GPTBot。
| GPTBot | |
|---|---|
| 归属 | OpenAI |
| 服务的产品 | OpenAI 基础模型训练 |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
GPTBot 是谁家的、拿去做什么?#
OpenAI 官方说明:GPTBot 抓取的内容可能用于训练生成式 AI 基础模型;禁止 GPTBot 表示网站内容不应用于训练【官方】。每个设置互相独立,例如可以允许 OAI-SearchBot 出现在搜索结果,同时禁止 GPTBot【官方】。
如果 GPTBot 和 OAI-SearchBot 都被允许,OpenAI 可能只抓一次、两种用途共用【官方】。它抓 robots.txt 时,UA 里可能多一个 robots.txt 标记【官方】。
屏蔽 GPTBot 会改变什么?#
屏蔽 GPTBot:内容不进 OpenAI 训练【官方】;ChatGPT 搜索能不能引用你,取决于 OAI-SearchBot,不受影响【官方】。
GPTBot 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
怎么确认来访的真是 GPTBot?#
对照官方 IP 列表 https://openai.com/gptbot.json【官方】。本站完整 IP 时段 104 次全部落在列表内【实测】。
robots.txt 怎么放行或屏蔽 GPTBot?#
# 放行
User-agent: GPTBot
Allow: /
# 屏蔽
User-agent: GPTBot
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "GPTBot") {
return 403;
}
本站 15 天里 GPTBot 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 GPTBot | 155 次 |
| opengeo.page 主站 / 同机其他站点 | 123 / 32 |
| 最后一次 | 2026-11-08 00:02(北京时间) |
| 完整 IP 时段核验通过 | 104 / 104 |
| 匿名时段 /24 重合 / 不重合 | 49 / 2 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 GPTBot 的常见误解#
「屏蔽 GPTBot,ChatGPT 就搜不到我。」搜索由 OAI-SearchBot 负责,两者独立【官方】。
「日志里的 GPTBot 都是 OpenAI。」本站有 2 次简化 UA 来自一个境外托管网段,不在官方段【实测】。
常见问题#
屏蔽 GPTBot 会影响 ChatGPT 搜索吗?#
不会。OpenAI 官方说各爬虫设置独立,ChatGPT 搜索由 OAI-SearchBot 负责。只禁止 GPTBot,表示内容不用于训练。
GPTBot 的 UA 里为什么有时带 robots.txt?#
OpenAI 官方说明,GPTBot 抓取 robots.txt 文件时,可能在 UA 里加一个 robots.txt 标记,方便站长区分。
怎么确认来访的是真 GPTBot?#
看来访 IP 是否落在 openai.com/gptbot.json 公布的地址段里。本站完整 IP 时段的 104 次全部符合,另有 2 次简化 UA 来自一个境外托管网段,不符合。
和 GPTBot 相关的爬虫#
同公司的其他爬虫#
- OAI-SearchBot:AI 搜索索引
- ChatGPT-User:用户触发
- OpenAI 的全部爬虫与 robots 写法
同用途的其他爬虫#
- HySpider:腾讯
- KimiBot:月之暗面
- ClaudeBot:Anthropic
- Google-Extended:Google
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板