Perplexity 的两个爬虫:PerplexityBot 与 Perplexity-User

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Perplexity 有哪些爬虫?
  2. Perplexity 官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里 Perplexity 的爬虫来了几次?
  5. 一次放行或屏蔽 Perplexity 的全部爬虫
  6. 和 Perplexity 相关的页面
    1. Perplexity 的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:Perplexity 没有公开训练爬虫,只有两个名字:PerplexityBot 管搜索索引,官方建议放行;Perplexity-User 由用户提问触发,官方自己说它通常不看 robots.txt,想拦只能在服务器上拦。

Perplexity 有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
PerplexityBotPerplexityBotAI 搜索索引官方文档10
Perplexity-UserPerplexity-User用户触发官方文档0

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。

Perplexity 官方公开了什么?#

Perplexity 的爬虫文档写了两个名字,各有一份 IP 列表【官方】:PerplexityBot 用于在 Perplexity 搜索结果里展示和链接网站,不用于抓取基础模型的训练内容,robots 修改最多 24 小时生效;Perplexity-User 在用户提问时访问网页、在回答里附链接,因为是用户发起,它「generally ignores robots.txt rules」。

2025-08-04 Cloudflare 发文说,在它的测试域名禁止 Perplexity 后,仍看到不在官方 IP 段、伪装成 macOS Chrome 的请求。这是 Cloudflare 的单方观察,这里只转述【推断】。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
PerplexityBot官方说遵守有10 次中 2 次不通过
Perplexity-User官方说通常忽略有未出现

本站 15 天里 Perplexity 的爬虫来了几次?#

Perplexity 的 2 个条目在本站 15 天里合计 10 次,最多的是 PerplexityBot(10 次);按官方 IP 段或反查核验,不通过的有 2 次;Perplexity-User 一次都没出现【实测】。

一次放行或屏蔽 Perplexity 的全部爬虫#

# 屏蔽 Perplexity 的全部爬虫
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /
# 放行 Perplexity 的全部爬虫
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

Perplexity-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。

Perplexity 的爬虫详情#

同用途的其他公司爬虫#

其他#