Perplexity 的两个爬虫:PerplexityBot 与 Perplexity-User
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Perplexity 没有公开训练爬虫,只有两个名字:PerplexityBot 管搜索索引,官方建议放行;Perplexity-User 由用户提问触发,官方自己说它通常不看 robots.txt,想拦只能在服务器上拦。
Perplexity 有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| PerplexityBot | PerplexityBot | AI 搜索索引 | 官方文档 | 10 |
| Perplexity-User | Perplexity-User | 用户触发 | 官方文档 | 0 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。
Perplexity 官方公开了什么?#
Perplexity 的爬虫文档写了两个名字,各有一份 IP 列表【官方】:PerplexityBot 用于在 Perplexity 搜索结果里展示和链接网站,不用于抓取基础模型的训练内容,robots 修改最多 24 小时生效;Perplexity-User 在用户提问时访问网页、在回答里附链接,因为是用户发起,它「generally ignores robots.txt rules」。
2025-08-04 Cloudflare 发文说,在它的测试域名禁止 Perplexity 后,仍看到不在官方 IP 段、伪装成 macOS Chrome 的请求。这是 Cloudflare 的单方观察,这里只转述【推断】。
- 官方文档(PerplexityBot、Perplexity-User):https://docs.perplexity.ai/guides/bots
- IP 列表(PerplexityBot):https://www.perplexity.ai/perplexitybot.json
- IP 列表(Perplexity-User):https://www.perplexity.ai/perplexity-user.json
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| PerplexityBot | 官方说遵守 | 有 | 10 次中 2 次不通过 |
| Perplexity-User | 官方说通常忽略 | 有 | 未出现 |
本站 15 天里 Perplexity 的爬虫来了几次?#
Perplexity 的 2 个条目在本站 15 天里合计 10 次,最多的是 PerplexityBot(10 次);按官方 IP 段或反查核验,不通过的有 2 次;Perplexity-User 一次都没出现【实测】。
一次放行或屏蔽 Perplexity 的全部爬虫#
# 屏蔽 Perplexity 的全部爬虫
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /
# 放行 Perplexity 的全部爬虫
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Perplexity-User 是用户提问时才来的,robots 对它管不管用要看官方怎么说,见用户触发类爬虫【官方】。
和 Perplexity 相关的页面#
Perplexity 的爬虫详情#
- PerplexityBot:AI 搜索索引
- Perplexity-User:用户触发