YisouSpider 是什么:神马搜索爬虫的 UA 与 robots 写法(阿里系)
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:YisouSpider 是神马搜索的爬虫,阿里系里唯一有官方说明的一个;官方没说夸克或通义是否复用它。做移动端中文流量可以放行,但官方没有给 IP 段或反查方法,无法核验真假。
| YisouSpider | |
|---|---|
| 归属 | 神马搜索(阿里巴巴/UC) |
| 服务的产品 | 神马搜索(夸克/通义是否复用未见官方说明) |
| 用途类型 | 传统搜索引擎收录 |
| 是否遵守 robots | 官方未说明 |
| 依据 | 官方文档 |
YisouSpider 是谁家的、拿去做什么?#
神马站长平台的官方页写着「神马搜索的爬虫 user agent 是 yisouspider」,并说「对正常网页放开 robots.txt 限制」【官方】。这页发布于 2014 年,没有给完整 UA,也没有明确的「遵守 robots」声明【官方】。
本表收录的完整 UA 来自第三方整理(itlanyan.com)【推断】。夸克、通义千问联网时是否借用神马索引,阿里没有公开说明【官方】。
屏蔽 YisouSpider 会改变什么?#
屏蔽它会影响神马搜索(UC 浏览器等入口)的收录【推断】。对通义千问有没有影响,没有官方依据可说。
YisouSpider 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
怎么确认来访的真是 YisouSpider?#
官方没有给 IP 段或反查方法【官方】。本站唯一一次请求来自一个境内运营商网段,UA 只有 YisouSpider 一个词,和第三方整理的完整 UA 不一样,无法确认真假【实测】。
robots.txt 怎么放行或屏蔽 YisouSpider?#
# 放行
User-agent: Yisouspider
Allow: /
# 屏蔽
User-agent: Yisouspider
Disallow: /
本站 15 天里 YisouSpider 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 YisouSpider | 1 次 |
| opengeo.page 主站 / 同机其他站点 | 0 / 1 |
| 最后一次 | 2026-11-02 10:07(北京时间) |
| 匿名时段(无法核验) | 1 次 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 YisouSpider 的常见误解#
「Quark 开头的 UA 是夸克爬虫。」第三方说那是夸克浏览器本身,不是爬虫【推断】。
常见问题#
YisouSpider 是阿里的吗?#
是。它属于神马搜索,神马是阿里巴巴和 UC 的搜索产品。它也是阿里系唯一在官方页面说明过的爬虫。
通义千问联网时用的是 YisouSpider 吗?#
阿里没有说明。通义专属爬虫(TongyiBot、QwenBot)的名字只出现在第三方目录里。
官方 UA 是什么?#
神马官方页只写了小写的 yisouspider。常见的完整 UA 是 Chrome 外壳加 YisouSpider/5.0,来自第三方整理,不是官方原文。
和 YisouSpider 相关的爬虫#
同公司的其他爬虫#
同用途的其他爬虫#
- Bytespider:字节跳动
- Baiduspider:百度
- Sogou web spider:搜狗
- 360Spider:360
- PetalBot:华为
- Googlebot:Google
- Applebot:Apple
- Bingbot:Microsoft
- 全部搜索引擎类爬虫与 robots 模板