Sogou web spider 是什么:搜狗搜索爬虫的 UA 与 robots 写法

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. Sogou web spider 是谁家的、拿去做什么?
  2. 屏蔽 Sogou web spider 会改变什么?
  3. Sogou web spider 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 Sogou web spider?
  5. robots.txt 怎么放行或屏蔽 Sogou web spider?
  6. 本站 15 天里 Sogou web spider 来了几次?
  7. 关于 Sogou web spider 的常见误解
  8. 常见问题
    1. 搜狗蜘蛛遵守 robots.txt 吗?
    2. 腾讯元宝用搜狗的爬虫吗?
    3. 本站为什么没有搜狗的访问?
  9. 和 Sogou web spider 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:Sogou web spider 是搜狗搜索(现属腾讯)的爬虫,官方说支持 robots;官方页没给完整 UA,也没说腾讯元宝是否用它。中文站一般放行即可,本站这两周它一次都没来。

Sogou web spider
归属搜狗(腾讯)
服务的产品搜狗搜索;第三方称腾讯元宝联网检索部分依托搜狗(未核实)
用途类型传统搜索引擎收录
是否遵守 robots官方说遵守
依据第三方

Sogou web spider 是谁家的、拿去做什么?#

搜狗站长指南的 FAQ 写着「sogou spider 支持 robots 协议」【官方】,但没有给 UA 字符串。本表的完整 UA Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 来自第三方整理,所以可信度记为「第三方」【推断】。

有第三方说腾讯元宝的联网检索部分依托搜狗,腾讯没有公开确认【推断】。腾讯官方有文档的 AI 爬虫只有混元的 HySpider(训练用)【官方】。

屏蔽 Sogou web spider 会改变什么?#

屏蔽它会退出搜狗搜索收录【推断】。对元宝回答的影响,没有官方依据。

Sogou web spider 的 User-Agent 长什么样?#

常见 UA(来自第三方整理,非官方原文):

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

怎么确认来访的真是 Sogou web spider?#

官方没有给 IP 段或反查方法【官方】。本站 15 天日志里没有出现这个 UA【实测】。

robots.txt 怎么放行或屏蔽 Sogou web spider?#

# 放行
User-agent: Sogou web spider
Allow: /
# 屏蔽
User-agent: Sogou web spider
Disallow: /

这个名字不是官方公布的,上面的规则可能匹配不到任何请求【推断】。

本站 15 天里 Sogou web spider 来了几次?#

0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 Sogou web spider【实测】。计数口径见总表。

关于 Sogou web spider 的常见误解#

「屏蔽搜狗就能让元宝看不到我。」元宝用什么抓取,腾讯没有公开【官方】。

常见问题#

搜狗蜘蛛遵守 robots.txt 吗?#

搜狗站长指南的说法是支持 robots 协议。官方页没有给出完整 UA 字符串。

腾讯元宝用搜狗的爬虫吗?#

腾讯没有公开说明。腾讯有官方文档的 AI 爬虫只有混元的 HySpider,它只用于训练。

本站为什么没有搜狗的访问?#

2026-10-25 至 11-08 的日志里确实没有,同期百度蜘蛛来了 57 次。原因搜狗没有说明,本站也无从判断。

同公司的其他爬虫#

同用途的其他爬虫#

其他相关#