Amazonbot 是什么:亚马逊爬虫,遵守 RFC 9309、可能用于训练
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Amazonbot 是亚马逊的爬虫,官方说用于改进亚马逊产品,也可能用于训练亚马逊的 AI 模型。它遵守 robots,但 robots 缓存最长 30 天,改了规则要等。亚马逊搜索另有 Amzn-SearchBot,本表未单列。
| Amazonbot | |
|---|---|
| 归属 | Amazon |
| 服务的产品 | Amazon 产品改进,可能用于训练 Amazon AI 模型 |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
Amazonbot 是谁家的、拿去做什么?#
亚马逊官方说明:Amazonbot 遵守 RFC 9309(robots 协议),不支持 crawl-delay,robots.txt 缓存最长 30 天【官方】。官方另有 Amzn-SearchBot(用于 Alexa 等搜索体验)和 Amzn-User(用户触发,可能不完全遵守 robots),本表没有单列【官方】。
屏蔽 Amazonbot 会改变什么?#
屏蔽 Amazonbot:内容不再进入亚马逊这部分的数据用途【官方】;改动最长可能 30 天后才被读到【官方】。它和亚马逊搜索的 Amzn-SearchBot 是分开的名字【官方】。
Amazonbot 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
- 官方文档:https://developer.amazon.com/amazonbot
- 官方 IP 列表:https://developer.amazon.com/amazonbot/ip-addresses/
怎么确认来访的真是 Amazonbot?#
官方在 developer.amazon.com/amazonbot/ip-addresses/ 公布 IP【官方】。本站完整 IP 时段 25 次全部反查到 crawl.amazonbot.amazon 并正向确认回原 IP【实测】。
robots.txt 怎么放行或屏蔽 Amazonbot?#
# 放行
User-agent: Amazonbot
Allow: /
# 屏蔽
User-agent: Amazonbot
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "Amazonbot") {
return 403;
}
本站 15 天里 Amazonbot 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 Amazonbot | 48 次 |
| opengeo.page 主站 / 同机其他站点 | 48 / 0 |
| 最后一次 | 2026-11-02 19:48(北京时间) |
| 完整 IP 时段核验通过 | 25 / 25 |
| 匿名时段(无法核验) | 23 次 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 Amazonbot 的常见误解#
「改完 robots.txt 第二天就生效。」官方说 robots 缓存最长 30 天【官方】。
常见问题#
Amazonbot 支持 Crawl-delay 吗?#
不支持。亚马逊官方说 Amazonbot 遵守 RFC 9309,但不支持 crawl-delay。
为什么改了 robots.txt,Amazonbot 还在来?#
亚马逊官方说 robots.txt 最长缓存 30 天,新规则可能要过一段时间才被读到。
屏蔽 Amazonbot 会影响 Alexa 搜索吗?#
亚马逊搜索类体验用的是另一个名字 Amzn-SearchBot,官方把两者分开,屏蔽 Amazonbot 不等于屏蔽它。
和 Amazonbot 相关的爬虫#
同公司的其他爬虫#
- 本表里 Amazon 只收了这一个条目。
同用途的其他爬虫#
- HySpider:腾讯
- KimiBot:月之暗面
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Google-Extended:Google
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板