Amazonbot 是什么:亚马逊爬虫,遵守 RFC 9309、可能用于训练

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Amazonbot 是谁家的、拿去做什么?
  2. 屏蔽 Amazonbot 会改变什么?
  3. Amazonbot 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Amazonbot?
  5. robots.txt 怎么放行或屏蔽 Amazonbot?
  6. 本站 15 天里 Amazonbot 来了几次?
  7. 关于 Amazonbot 的常见误解
  8. 常见问题
    1. Amazonbot 支持 Crawl-delay 吗?
    2. 为什么改了 robots.txt,Amazonbot 还在来?
    3. 屏蔽 Amazonbot 会影响 Alexa 搜索吗?
  9. 和 Amazonbot 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Amazonbot 是亚马逊的爬虫,官方说用于改进亚马逊产品,也可能用于训练亚马逊的 AI 模型。它遵守 robots,但 robots 缓存最长 30 天,改了规则要等。亚马逊搜索另有 Amzn-SearchBot,本表未单列。

Amazonbot
归属Amazon
服务的产品Amazon 产品改进,可能用于训练 Amazon AI 模型
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots官方说遵守
依据官方文档

Amazonbot 是谁家的、拿去做什么?#

亚马逊官方说明:Amazonbot 遵守 RFC 9309(robots 协议),不支持 crawl-delay,robots.txt 缓存最长 30 天【官方】。官方另有 Amzn-SearchBot(用于 Alexa 等搜索体验)和 Amzn-User(用户触发,可能不完全遵守 robots),本表没有单列【官方】。

屏蔽 Amazonbot 会改变什么?#

屏蔽 Amazonbot:内容不再进入亚马逊这部分的数据用途【官方】;改动最长可能 30 天后才被读到【官方】。它和亚马逊搜索的 Amzn-SearchBot 是分开的名字【官方】。

Amazonbot 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

怎么确认来访的真是 Amazonbot?#

官方在 developer.amazon.com/amazonbot/ip-addresses/ 公布 IP【官方】。本站完整 IP 时段 25 次全部反查到 crawl.amazonbot.amazon 并正向确认回原 IP【实测】。

robots.txt 怎么放行或屏蔽 Amazonbot?#

# 放行
User-agent: Amazonbot
Allow: /
# 屏蔽
User-agent: Amazonbot
Disallow: /

服务器层面直接拒绝(nginx,server {} 内):

if ($http_user_agent ~* "Amazonbot") {
    return 403;
}

本站 15 天里 Amazonbot 来了几次?#

2026-10-25 01:00 至 11-08 21:22,北京时间【实测】
自称 Amazonbot48 次
opengeo.page 主站 / 同机其他站点48 / 0
最后一次2026-11-02 19:48(北京时间)
完整 IP 时段核验通过25 / 25
匿名时段(无法核验)23 次

按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。

关于 Amazonbot 的常见误解#

「改完 robots.txt 第二天就生效。」官方说 robots 缓存最长 30 天【官方】。

常见问题#

Amazonbot 支持 Crawl-delay 吗?#

不支持。亚马逊官方说 Amazonbot 遵守 RFC 9309,但不支持 crawl-delay。

为什么改了 robots.txt,Amazonbot 还在来?#

亚马逊官方说 robots.txt 最长缓存 30 天,新规则可能要过一段时间才被读到。

屏蔽 Amazonbot 会影响 Alexa 搜索吗?#

亚马逊搜索类体验用的是另一个名字 Amzn-SearchBot,官方把两者分开,屏蔽 Amazonbot 不等于屏蔽它。

同公司的其他爬虫#

  • 本表里 Amazon 只收了这一个条目。

同用途的其他爬虫#

其他相关#