Applebot-Extended 是什么:不抓网页的 Apple 训练开关

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Applebot-Extended 是谁家的、拿去做什么?
  2. 屏蔽 Applebot-Extended 会改变什么?
  3. Applebot-Extended 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Applebot-Extended?
  5. robots.txt 怎么放行或屏蔽 Applebot-Extended?
  6. 本站 15 天里 Applebot-Extended 来了几次?
  7. 关于 Applebot-Extended 的常见误解
  8. 常见问题
    1. Applebot-Extended 会访问我的网站吗?
    2. 禁止 Applebot-Extended 会影响 Apple 搜索吗?
    3. 它和 Google-Extended 一样吗?
  9. 和 Applebot-Extended 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Applebot-Extended 不抓网页,日志里不会出现;它是 robots.txt 里的开关,决定 Applebot 抓到的内容能否用于训练 Apple Intelligence 等基础模型。屏蔽它不影响 Apple 搜索。

Applebot-Extended
归属Apple
服务的产品Apple Intelligence 等基础模型训练
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots只是 robots.txt 开关
依据官方文档

Applebot-Extended 是谁家的、拿去做什么?#

Apple 官方原话:「Applebot-Extended does not crawl webpages」【官方】。实际抓取全由 Applebot 完成;Applebot-Extended 只用来表达你是否允许这些数据进入 Apple 的模型训练【官方】。

屏蔽 Applebot-Extended 会改变什么?#

在 robots.txt 里禁止 Applebot-Extended:内容不用于 Apple 基础模型训练;Applebot 照常抓取,Spotlight、Siri、Safari 搜索不受影响【官方】。

Applebot-Extended 的 User-Agent 长什么样?#

它没有单独的 UA,只在 robots.txt 里以 Applebot-Extended 这个名字出现【官方】。

怎么确认来访的真是 Applebot-Extended?#

无需核验真身,它不会以 UA 出现【官方】。日志里如果有自称 Applebot-Extended 的请求,按冒充处理【推断】。

robots.txt 怎么放行或屏蔽 Applebot-Extended?#

# 放行
User-agent: Applebot-Extended
Allow: /
# 屏蔽
User-agent: Applebot-Extended
Disallow: /

本站 15 天里 Applebot-Extended 来了几次?#

Applebot-Extended 没有自己的 UA,日志里不会出现,所以没有访问次数【官方】;本站日志里也确实没有任何 UA 含 Applebot-Extended【实测】。

关于 Applebot-Extended 的常见误解#

「屏蔽 Applebot-Extended,Siri 就搜不到我。」搜索由 Applebot 负责,不受影响【官方】。

常见问题#

Applebot-Extended 会访问我的网站吗?#

不会。Apple 官方说 Applebot-Extended 不抓取网页,它只是 robots.txt 里的控制名。

禁止 Applebot-Extended 会影响 Apple 搜索吗?#

不会。抓取由 Applebot 完成,Applebot-Extended 只决定内容能否用于训练。

它和 Google-Extended 一样吗?#

思路一样:都是只写在 robots.txt 里的训练开关,没有单独的 UA,不影响各自的搜索收录。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#