Sogou web spider 是什么:搜狗搜索爬虫的 UA 与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Sogou web spider 是搜狗搜索(现属腾讯)的爬虫,官方说支持 robots;官方页没给完整 UA,也没说腾讯元宝是否用它。中文站一般放行即可,本站这两周它一次都没来。
| Sogou web spider | |
|---|---|
| 归属 | 搜狗(腾讯) |
| 服务的产品 | 搜狗搜索;第三方称腾讯元宝联网检索部分依托搜狗(未核实) |
| 用途类型 | 传统搜索引擎收录 |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 第三方 |
Sogou web spider 是谁家的、拿去做什么?#
搜狗站长指南的 FAQ 写着「sogou spider 支持 robots 协议」【官方】,但没有给 UA 字符串。本表的完整 UA Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 来自第三方整理,所以可信度记为「第三方」【推断】。
有第三方说腾讯元宝的联网检索部分依托搜狗,腾讯没有公开确认【推断】。腾讯官方有文档的 AI 爬虫只有混元的 HySpider(训练用)【官方】。
屏蔽 Sogou web spider 会改变什么?#
屏蔽它会退出搜狗搜索收录【推断】。对元宝回答的影响,没有官方依据。
Sogou web spider 的 User-Agent 长什么样?#
常见 UA(来自第三方整理,非官方原文):
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
- 官方文档:https://www.sogou.com/docs/help/webmasters.htm
- 第三方资料:https://itlanyan.com/common-bot-ua-and-block-bad-bots
怎么确认来访的真是 Sogou web spider?#
官方没有给 IP 段或反查方法【官方】。本站 15 天日志里没有出现这个 UA【实测】。
robots.txt 怎么放行或屏蔽 Sogou web spider?#
# 放行
User-agent: Sogou web spider
Allow: /
# 屏蔽
User-agent: Sogou web spider
Disallow: /
这个名字不是官方公布的,上面的规则可能匹配不到任何请求【推断】。
本站 15 天里 Sogou web spider 来了几次?#
0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 Sogou web spider【实测】。计数口径见总表。
关于 Sogou web spider 的常见误解#
「屏蔽搜狗就能让元宝看不到我。」元宝用什么抓取,腾讯没有公开【官方】。
常见问题#
搜狗蜘蛛遵守 robots.txt 吗?#
搜狗站长指南的说法是支持 robots 协议。官方页没有给出完整 UA 字符串。
腾讯元宝用搜狗的爬虫吗?#
腾讯没有公开说明。腾讯有官方文档的 AI 爬虫只有混元的 HySpider,它只用于训练。
本站为什么没有搜狗的访问?#
2026-10-25 至 11-08 的日志里确实没有,同期百度蜘蛛来了 57 次。原因搜狗没有说明,本站也无从判断。
和 Sogou web spider 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- Bytespider:字节跳动
- Baiduspider:百度
- YisouSpider:神马搜索
- 360Spider:360
- PetalBot:华为
- Googlebot:Google
- Applebot:Apple
- Bingbot:Microsoft
- 全部搜索引擎类爬虫与 robots 模板