腾讯的爬虫:混元训练用 HySpider,搜狗搜索用 Sogou spider

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 腾讯有哪些爬虫?
  2. 腾讯官方公开了什么?
  3. 听不听 robots、能不能核验?
  4. 本站 15 天里腾讯的爬虫来了几次?
  5. 一次放行或屏蔽腾讯的全部爬虫
  6. 和腾讯相关的页面
    1. 腾讯的爬虫详情
    2. 同用途的其他公司爬虫
    3. 其他

一句话结论:腾讯公开的 AI 爬虫只有混元的 HySpider,用途只写了训练;腾讯元宝回答时的联网检索没有爬虫文档。本站 15 天日志里 HySpider 和 Sogou spider 都没出现过。

腾讯有哪些爬虫?#

爬虫UA 里的名字用途依据本站 15 天访问【实测】
Sogou web spiderSogou web spider搜索引擎官方文档、第三方来源0
HySpiderHySpider训练官方文档0

日志截至 2026-11-08 21:22(北京时间),按 UA 子串计数,含冒充者。

腾讯官方公开了什么?#

腾讯混元的官方页说明 HySpider 用于混元基础模型(元宝的底座)的训练,采用行业标准的 robots.txt 指令,给了 Disallow 和 Crawl-delay 示例,IP 列表在 hy.tencent.com/policy/hyspider.json【官方】。英文版官方页抓取时报错,依据的是中文页。

搜狗站长指南的 FAQ 写着「sogou spider 支持 robots 协议」,但没给 UA 字符串,本表的完整 UA 来自第三方【官方】。有第三方说元宝的联网检索部分依托搜狗,腾讯没有公开确认【推断】。旧的 Sosospider 没找到现行官方文档,本表未收录。

听不听 robots、能不能核验?#

爬虫是否遵守 robots官方 IP 列表本站核验【实测】
Sogou web spider官方说遵守未公布未出现
HySpider官方说遵守有未出现

本站 15 天里腾讯的爬虫来了几次?#

腾讯的 Sogou web spider、HySpider 在本站 15 天的日志里一次都没出现【实测】。没来过不代表不会来,只说明这个新站还没被它们抓到。

一次放行或屏蔽腾讯的全部爬虫#

# 屏蔽腾讯的全部爬虫
User-agent: Sogou web spider
User-agent: HySpider
Disallow: /
# 放行腾讯的全部爬虫
User-agent: Sogou web spider
User-agent: HySpider
Allow: /

只挡训练、其余照常:

User-agent: HySpider
Disallow: /

User-agent: Sogou web spider
Allow: /

其中 Sogou web spider 不是官方公布的名字,写进去也可能匹配不到任何请求【推断】。

腾讯的爬虫详情#

同用途的其他公司爬虫#

其他#