Apple 的两个名字:Applebot 抓网页,Applebot-Extended 管训练
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Apple 的分工和 Google 类似:真正来抓网页的只有 Applebot;Applebot-Extended 不抓任何网页,只用来表达是否允许这些数据进入 Apple 的模型训练,禁止它不影响搜索收录。
Apple 有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| Applebot | Applebot | 搜索引擎 | 官方文档 | 38 |
| Applebot-Extended | Applebot-Extended | 训练 | 官方文档 | — |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。Applebot-Extended 没有自己的 UA,所以记为「—」。
Apple 官方公开了什么?#
Apple 的支持文档写明【官方】:Applebot 遵守标准 robots.txt 指令;robots.txt 里没有单独写 Applebot 时,它会沿用写给 Googlebot 的规则;它不支持 crawl-delay;IP 列表在 applebot.json。
同一页说 Applebot 抓到的数据也可能用于训练 Apple 的基础模型,是否允许由 Applebot-Extended 决定;官方原话是「Applebot-Extended does not crawl webpages」【官方】。
- 官方文档(Applebot、Applebot-Extended):https://support.apple.com/en-us/119829
- IP 列表(Applebot):http://search.developer.apple.com/applebot.json
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| Applebot | 官方说遵守 | 有 | 38 次中 0 次不通过 |
| Applebot-Extended | 只是 robots.txt 开关 | 未公布 | 无独立 UA |
本站 15 天里 Apple 的爬虫来了几次?#
Apple 的 2 个条目在本站 15 天里合计 38 次,最多的是 Applebot(38 次);能核验的部分没有发现冒充【实测】。
一次放行或屏蔽 Apple 的全部爬虫#
# 屏蔽 Apple 的全部爬虫
User-agent: Applebot
User-agent: Applebot-Extended
Disallow: /
# 放行 Apple 的全部爬虫
User-agent: Applebot
User-agent: Applebot-Extended
Allow: /
只挡训练、其余照常:
User-agent: Applebot-Extended
Disallow: /
User-agent: Applebot
Allow: /
和 Apple 相关的页面#
Apple 的爬虫详情#
- Applebot:搜索引擎
- Applebot-Extended:训练
同用途的其他公司爬虫#
- 搜索引擎类:Bytespider、Baiduspider、YisouSpider、Sogou web spider、360Spider、PetalBot、Googlebot、Bingbot
- 训练类:HySpider、KimiBot、GPTBot、ClaudeBot、Google-Extended、CCBot、Amazonbot、Meta-ExternalAgent