腾讯的爬虫:混元训练用 HySpider,搜狗搜索用 Sogou spider
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
一句话结论:腾讯公开的 AI 爬虫只有混元的 HySpider,用途只写了训练;腾讯元宝回答时的联网检索没有爬虫文档。本站 15 天日志里 HySpider 和 Sogou spider 都没出现过。
腾讯有哪些爬虫?#
| 爬虫 | UA 里的名字 | 用途 | 依据 | 本站 15 天访问【实测】 |
|---|---|---|---|---|
| Sogou web spider | Sogou web spider | 搜索引擎 | 官方文档、第三方来源 | 0 |
| HySpider | HySpider | 训练 | 官方文档 | 0 |
日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。
腾讯官方公开了什么?#
腾讯混元的官方页说明 HySpider 用于混元基础模型(元宝的底座)的训练,采用行业标准的 robots.txt 指令,给了 Disallow 和 Crawl-delay 示例,IP 列表在 hy.tencent.com/policy/hyspider.json【官方】。英文版官方页抓取时报错,依据的是中文页。
搜狗站长指南的 FAQ 写着「sogou spider 支持 robots 协议」,但没给 UA 字符串,本表的完整 UA 来自第三方【官方】。有第三方说元宝的联网检索部分依托搜狗,腾讯没有公开确认【推断】。旧的 Sosospider 没找到现行官方文档,本表未收录。
- 官方文档(Sogou web spider):https://www.sogou.com/docs/help/webmasters.htm
- 第三方资料(Sogou web spider):https://itlanyan.com/common-bot-ua-and-block-bad-bots
- 官方文档(HySpider):https://hunyuan.tencent.com/polices/hy-crawlers
- IP 列表(HySpider):https://hy.tencent.com/policy/hyspider.json
听不听 robots、能不能核验?#
| 爬虫 | 是否遵守 robots | 官方 IP 列表 | 本站核验【实测】 |
|---|---|---|---|
| Sogou web spider | 官方说遵守 | 未公布 | 未出现 |
| HySpider | 官方说遵守 | 有 | 未出现 |
本站 15 天里腾讯的爬虫来了几次?#
腾讯的 Sogou web spider、HySpider 在本站 15 天的日志里一次都没出现【实测】。没来过不代表不会来,只说明这个新站还没被它们抓到。
一次放行或屏蔽腾讯的全部爬虫#
# 屏蔽腾讯的全部爬虫
User-agent: Sogou web spider
User-agent: HySpider
Disallow: /
# 放行腾讯的全部爬虫
User-agent: Sogou web spider
User-agent: HySpider
Allow: /
只挡训练、其余照常:
User-agent: HySpider
Disallow: /
User-agent: Sogou web spider
Allow: /
其中 Sogou web spider 不是官方公布的名字,写进去也可能匹配不到任何请求【推断】。
和腾讯相关的页面#
腾讯的爬虫详情#
- Sogou web spider:搜索引擎
- HySpider:训练
同用途的其他公司爬虫#
- 搜索引擎类:Bytespider、Baiduspider、YisouSpider、360Spider、PetalBot、Googlebot、Applebot、Bingbot
- 训练类:KimiBot、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Amazonbot、Meta-ExternalAgent