Applebot-Extended 是什么:不抓网页的 Apple 训练开关
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Applebot-Extended 不抓网页,日志里不会出现;它是 robots.txt 里的开关,决定 Applebot 抓到的内容能否用于训练 Apple Intelligence 等基础模型。屏蔽它不影响 Apple 搜索。
| Applebot-Extended | |
|---|---|
| 归属 | Apple |
| 服务的产品 | Apple Intelligence 等基础模型训练 |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 只是 robots.txt 开关 |
| 依据 | 官方文档 |
Applebot-Extended 是谁家的、拿去做什么?#
Apple 官方原话:「Applebot-Extended does not crawl webpages」【官方】。实际抓取全由 Applebot 完成;Applebot-Extended 只用来表达你是否允许这些数据进入 Apple 的模型训练【官方】。
屏蔽 Applebot-Extended 会改变什么?#
在 robots.txt 里禁止 Applebot-Extended:内容不用于 Apple 基础模型训练;Applebot 照常抓取,Spotlight、Siri、Safari 搜索不受影响【官方】。
Applebot-Extended 的 User-Agent 长什么样?#
它没有单独的 UA,只在 robots.txt 里以 Applebot-Extended 这个名字出现【官方】。
怎么确认来访的真是 Applebot-Extended?#
无需核验真身,它不会以 UA 出现【官方】。日志里如果有自称 Applebot-Extended 的请求,按冒充处理【推断】。
robots.txt 怎么放行或屏蔽 Applebot-Extended?#
# 放行
User-agent: Applebot-Extended
Allow: /
# 屏蔽
User-agent: Applebot-Extended
Disallow: /
本站 15 天里 Applebot-Extended 来了几次?#
Applebot-Extended 没有自己的 UA,日志里不会出现,所以没有访问次数【官方】;本站日志里也确实没有任何 UA 含 Applebot-Extended【实测】。
关于 Applebot-Extended 的常见误解#
「屏蔽 Applebot-Extended,Siri 就搜不到我。」搜索由 Applebot 负责,不受影响【官方】。
常见问题#
Applebot-Extended 会访问我的网站吗?#
不会。Apple 官方说 Applebot-Extended 不抓取网页,它只是 robots.txt 里的控制名。
禁止 Applebot-Extended 会影响 Apple 搜索吗?#
不会。抓取由 Applebot 完成,Applebot-Extended 只决定内容能否用于训练。
它和 Google-Extended 一样吗?#
思路一样:都是只写在 robots.txt 里的训练开关,没有单独的 UA,不影响各自的搜索收录。
和 Applebot-Extended 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- HySpider:腾讯
- KimiBot:月之暗面
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Google-Extended:Google
- CCBot:Common Crawl
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板