Meta-ExternalAgent 是什么:Meta AI 训练与索引爬虫的 UA 与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Meta-ExternalAgent 是 Meta 用来训练 AI 模型等用途的爬虫,官方说 robots 改动 24 小时内生效。不想进 Meta 训练就屏蔽它;Meta AI 搜索另用 Meta-WebIndexer,本表未单列。
| Meta-ExternalAgent | |
|---|---|
| 归属 | Meta |
| 服务的产品 | Meta 基础 AI 模型训练 / 直接索引 |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
Meta-ExternalAgent 是谁家的、拿去做什么?#
Meta 官方开发者文档列出 meta-externalagent,用于 AI 模型训练等用途,并给出 robots.txt 示例,说明 robots 修改 24 小时内生效【官方】。官方页里 UA 的链接是相对路径 (+/documentation/...),本表照录【官方】。
同一页还列出 Meta-WebIndexer(Meta AI 搜索索引)和 Meta-ExternalFetcher(用户触发,可能绕过 robots)【官方】。本站日志里看到的 Meta-ExternalAgent 是 Chrome 外壳 UA,带完整网址【实测】。
屏蔽 Meta-ExternalAgent 会改变什么?#
屏蔽 Meta-ExternalAgent:内容不再被它抓去训练【官方】;Meta AI 搜索要另外看 Meta-WebIndexer【官方】。
Meta-ExternalAgent 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
meta-externalagent/1.1 (+/documentation/sharing/webmasters/web-crawlers)
怎么确认来访的真是 Meta-ExternalAgent?#
官方页没有公布 IP 列表或反查方法【官方】。本站 40 次全部来自 Meta 自己的网络【实测】,可以作为参考,但不是官方核验办法【推断】。
robots.txt 怎么放行或屏蔽 Meta-ExternalAgent?#
# 放行
User-agent: meta-externalagent
Allow: /
# 屏蔽
User-agent: meta-externalagent
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "meta-externalagent") {
return 403;
}
本站 15 天里 Meta-ExternalAgent 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 Meta-ExternalAgent | 40 次 |
| opengeo.page 主站 / 同机其他站点 | 40 / 0 |
| 最后一次 | 2026-10-28 22:39(北京时间) |
| 完整 IP 时段 | 40 次(官方无核验方法) |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 Meta-ExternalAgent 的常见误解#
「屏蔽它就退出 Meta AI 搜索。」搜索索引是 Meta-WebIndexer 的事【官方】。
常见问题#
Meta-ExternalAgent 改了 robots 多久生效?#
Meta 官方说 robots.txt 的修改会在 24 小时内生效。
怎么验证 Meta-ExternalAgent 是真的?#
Meta 官方没有公布 IP 列表或反查方法。本站只能看 IP 所在网络:15 天的 40 次全部属于 Meta 自己的网络。
为什么本站 10 月 28 日之后再没见过它?#
2026-10-28 22:39 是本期最后一次,之后到 11-08 没再出现。Meta 官方没有说明抓取频率,原因无法判断。
和 Meta-ExternalAgent 相关的爬虫#
同公司的其他爬虫#
- 本表里 Meta 只收了这一个条目。
同用途的其他爬虫#
- HySpider:腾讯
- KimiBot:月之暗面
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Google-Extended:Google
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Amazonbot:Amazon
- 全部训练类爬虫与 robots 模板