HySpider 是什么:腾讯混元训练爬虫的 UA、IP 列表与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:HySpider 是腾讯混元的训练爬虫,官方说用标准 robots 指令控制,并公布 IP 列表。屏蔽它表示不让内容进混元训练;元宝联网检索用什么抓取,腾讯没有公开,和它是两回事。
| HySpider | |
|---|---|
| 归属 | 腾讯(混元 Hy) |
| 服务的产品 | 腾讯混元 Hy 基础模型(元宝底座) |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
HySpider 是谁家的、拿去做什么?#
腾讯混元官方页说明 HySpider 用于混元基础模型(元宝的底座)的训练,采用行业标准的 robots.txt 指令,并给了 Disallow 和 Crawl-delay 示例【官方】。
官方 UA:Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; HySpider/1.0; + https://hy.tencent.com/polices/hy-crawlers【官方】。
腾讯元宝回答时的联网检索,没有专属爬虫文档【官方】。英文版官方页 tencent.ai 抓取时返回错误,本页依据的是中文页 hunyuan.tencent.com。
屏蔽 HySpider 会改变什么?#
屏蔽 HySpider = 告诉腾讯「别拿我的内容训练混元」【官方】。它不影响元宝能不能在回答里引用你——那部分腾讯没有给开关【推断】。
HySpider 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; HySpider/1.0; + https://hy.tencent.com/polices/hy-crawlers
- 官方文档:https://hunyuan.tencent.com/polices/hy-crawlers
- 官方 IP 列表:https://hy.tencent.com/policy/hyspider.json
怎么确认来访的真是 HySpider?#
对照官方 IP 列表 https://hy.tencent.com/policy/hyspider.json【官方】。本站这两周没有它的访问,无从实测。
robots.txt 怎么放行或屏蔽 HySpider?#
# 放行
User-agent: HySpider
Allow: /
# 屏蔽
User-agent: HySpider
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "HySpider") {
return 403;
}
本站 15 天里 HySpider 来了几次?#
0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 HySpider【实测】。计数口径见总表。
关于 HySpider 的常见误解#
「屏蔽 HySpider 元宝就不会推荐我。」官方只说它用于训练,元宝检索另有途径【官方】。
常见问题#
HySpider 是元宝的爬虫吗?#
官方说它用于训练腾讯混元基础模型,混元是元宝的底座。元宝回答时的联网检索,腾讯没有公开对应的爬虫。
HySpider 支持 Crawl-delay 吗?#
支持。腾讯混元官方页给出了 Crawl-delay 的写法示例。
怎么验证 HySpider 是真的?#
看来访 IP 是否在腾讯公布的 hyspider.json 列表里。不在列表里,即使 UA 一样也按冒充处理。
和 HySpider 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- KimiBot:月之暗面
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Google-Extended:Google
- Applebot-Extended:Apple
- CCBot:Common Crawl
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板