HySpider 是什么:腾讯混元训练爬虫的 UA、IP 列表与 robots 写法

· 约 5 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. HySpider 是谁家的、拿去做什么?
  2. 屏蔽 HySpider 会改变什么?
  3. HySpider 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 HySpider?
  5. robots.txt 怎么放行或屏蔽 HySpider?
  6. 本站 15 天里 HySpider 来了几次?
  7. 关于 HySpider 的常见误解
  8. 常见问题
    1. HySpider 是元宝的爬虫吗?
    2. HySpider 支持 Crawl-delay 吗?
    3. 怎么验证 HySpider 是真的?
  9. 和 HySpider 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:HySpider 是腾讯混元的训练爬虫,官方说用标准 robots 指令控制,并公布 IP 列表。屏蔽它表示不让内容进混元训练;元宝联网检索用什么抓取,腾讯没有公开,和它是两回事。

HySpider
归属腾讯(混元 Hy)
服务的产品腾讯混元 Hy 基础模型(元宝底座)
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots官方说遵守
依据官方文档

HySpider 是谁家的、拿去做什么?#

腾讯混元官方页说明 HySpider 用于混元基础模型(元宝的底座)的训练,采用行业标准的 robots.txt 指令,并给了 Disallow 和 Crawl-delay 示例【官方】。

官方 UA:Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; HySpider/1.0; + https://hy.tencent.com/polices/hy-crawlers【官方】。

腾讯元宝回答时的联网检索,没有专属爬虫文档【官方】。英文版官方页 tencent.ai 抓取时返回错误,本页依据的是中文页 hunyuan.tencent.com。

屏蔽 HySpider 会改变什么?#

屏蔽 HySpider = 告诉腾讯「别拿我的内容训练混元」【官方】。它不影响元宝能不能在回答里引用你——那部分腾讯没有给开关【推断】。

HySpider 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; HySpider/1.0; + https://hy.tencent.com/polices/hy-crawlers

怎么确认来访的真是 HySpider?#

对照官方 IP 列表 https://hy.tencent.com/policy/hyspider.json【官方】。本站这两周没有它的访问,无从实测。

robots.txt 怎么放行或屏蔽 HySpider?#

# 放行
User-agent: HySpider
Allow: /
# 屏蔽
User-agent: HySpider
Disallow: /

服务器层面直接拒绝(nginx,server {} 内):

if ($http_user_agent ~* "HySpider") {
    return 403;
}

本站 15 天里 HySpider 来了几次?#

0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 HySpider【实测】。计数口径见总表。

关于 HySpider 的常见误解#

「屏蔽 HySpider 元宝就不会推荐我。」官方只说它用于训练,元宝检索另有途径【官方】。

常见问题#

HySpider 是元宝的爬虫吗?#

官方说它用于训练腾讯混元基础模型,混元是元宝的底座。元宝回答时的联网检索,腾讯没有公开对应的爬虫。

HySpider 支持 Crawl-delay 吗?#

支持。腾讯混元官方页给出了 Crawl-delay 的写法示例。

怎么验证 HySpider 是真的?#

看来访 IP 是否在腾讯公布的 hyspider.json 列表里。不在列表里,即使 UA 一样也按冒充处理。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#