Apple 的两个名字:Applebot 抓网页,Applebot-Extended 管训练

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Apple 有哪些爬虫?
  2. Apple 官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里 Apple 的爬虫来了几次?
  5. 一次放行或屏蔽 Apple 的全部爬虫
  6. 和 Apple 相关的页面
    1. Apple 的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:Apple 的分工和 Google 类似:真正来抓网页的只有 Applebot;Applebot-Extended 不抓任何网页,只用来表达是否允许这些数据进入 Apple 的模型训练,禁止它不影响搜索收录。

Apple 有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
ApplebotApplebot搜索引擎官方文档38
Applebot-ExtendedApplebot-Extended训练官方文档—

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。Applebot-Extended 没有自己的 UA,所以记为「—」。

Apple 官方公开了什么?#

Apple 的支持文档写明【官方】:Applebot 遵守标准 robots.txt 指令;robots.txt 里没有单独写 Applebot 时,它会沿用写给 Googlebot 的规则;它不支持 crawl-delay;IP 列表在 applebot.json。

同一页说 Applebot 抓到的数据也可能用于训练 Apple 的基础模型,是否允许由 Applebot-Extended 决定;官方原话是「Applebot-Extended does not crawl webpages」【官方】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
Applebot官方说遵守有38 次中 0 次不通过
Applebot-Extended只是 robots.txt 开关未公布无独立 UA

本站 15 天里 Apple 的爬虫来了几次?#

Apple 的 2 个条目在本站 15 天里合计 38 次,最多的是 Applebot(38 次);能核验的部分没有发现冒充【实测】。

一次放行或屏蔽 Apple 的全部爬虫#

# 屏蔽 Apple 的全部爬虫
User-agent: Applebot
User-agent: Applebot-Extended
Disallow: /
# 放行 Apple 的全部爬虫
User-agent: Applebot
User-agent: Applebot-Extended
Allow: /

只挡训练、其余照常:

User-agent: Applebot-Extended
Disallow: /

User-agent: Applebot
Allow: /

Apple 的爬虫详情#

同用途的其他公司爬虫#

其他#