Meta-ExternalAgent 是什么:Meta AI 训练与索引爬虫的 UA 与 robots 写法

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Meta-ExternalAgent 是谁家的、拿去做什么?
  2. 屏蔽 Meta-ExternalAgent 会改变什么?
  3. Meta-ExternalAgent 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Meta-ExternalAgent?
  5. robots.txt 怎么放行或屏蔽 Meta-ExternalAgent?
  6. 本站 15 天里 Meta-ExternalAgent 来了几次?
  7. 关于 Meta-ExternalAgent 的常见误解
  8. 常见问题
    1. Meta-ExternalAgent 改了 robots 多久生效?
    2. 怎么验证 Meta-ExternalAgent 是真的?
    3. 为什么本站 10 月 28 日之后再没见过它?
  9. 和 Meta-ExternalAgent 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Meta-ExternalAgent 是 Meta 用来训练 AI 模型等用途的爬虫,官方说 robots 改动 24 小时内生效。不想进 Meta 训练就屏蔽它;Meta AI 搜索另用 Meta-WebIndexer,本表未单列。

Meta-ExternalAgent
归属Meta
服务的产品Meta 基础 AI 模型训练 / 直接索引
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots官方说遵守
依据官方文档

Meta-ExternalAgent 是谁家的、拿去做什么?#

Meta 官方开发者文档列出 meta-externalagent,用于 AI 模型训练等用途,并给出 robots.txt 示例,说明 robots 修改 24 小时内生效【官方】。官方页里 UA 的链接是相对路径 (+/documentation/...),本表照录【官方】。

同一页还列出 Meta-WebIndexer(Meta AI 搜索索引)和 Meta-ExternalFetcher(用户触发,可能绕过 robots)【官方】。本站日志里看到的 Meta-ExternalAgent 是 Chrome 外壳 UA,带完整网址【实测】。

屏蔽 Meta-ExternalAgent 会改变什么?#

屏蔽 Meta-ExternalAgent:内容不再被它抓去训练【官方】;Meta AI 搜索要另外看 Meta-WebIndexer【官方】。

Meta-ExternalAgent 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

meta-externalagent/1.1 (+/documentation/sharing/webmasters/web-crawlers)

怎么确认来访的真是 Meta-ExternalAgent?#

官方页没有公布 IP 列表或反查方法【官方】。本站 40 次全部来自 Meta 自己的网络【实测】,可以作为参考,但不是官方核验办法【推断】。

robots.txt 怎么放行或屏蔽 Meta-ExternalAgent?#

# 放行
User-agent: meta-externalagent
Allow: /
# 屏蔽
User-agent: meta-externalagent
Disallow: /

服务器层面直接拒绝(nginx,server {} 内):

if ($http_user_agent ~* "meta-externalagent") {
    return 403;
}

本站 15 天里 Meta-ExternalAgent 来了几次?#

2026-10-25 01:00 至 11-08 21:22,北京时间【实测】
自称 Meta-ExternalAgent40 次
opengeo.page 主站 / 同机其他站点40 / 0
最后一次2026-10-28 22:39(北京时间)
完整 IP 时段40 次(官方无核验方法)

按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。

关于 Meta-ExternalAgent 的常见误解#

「屏蔽它就退出 Meta AI 搜索。」搜索索引是 Meta-WebIndexer 的事【官方】。

常见问题#

Meta-ExternalAgent 改了 robots 多久生效?#

Meta 官方说 robots.txt 的修改会在 24 小时内生效。

怎么验证 Meta-ExternalAgent 是真的?#

Meta 官方没有公布 IP 列表或反查方法。本站只能看 IP 所在网络:15 天的 40 次全部属于 Meta 自己的网络。

为什么本站 10 月 28 日之后再没见过它?#

2026-10-28 22:39 是本期最后一次,之后到 11-08 没再出现。Meta 官方没有说明抓取频率,原因无法判断。

同公司的其他爬虫#

  • 本表里 Meta 只收了这一个条目。

同用途的其他爬虫#

其他相关#