Bingbot 是什么:必应搜索爬虫的 UA、核验工具与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:Bingbot 是微软必应搜索的爬虫,被必应收录就要放行。官方页没说 Copilot 是否用它的索引;判断真假用官方 Verify Bingbot 工具或反查 search.msn.com,本站见到的冒充很少。
| Bingbot | |
|---|---|
| 归属 | Microsoft |
| 服务的产品 | Bing 搜索(Copilot 是否复用官方此页未说明) |
| 用途类型 | 传统搜索引擎收录 |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
Bingbot 是谁家的、拿去做什么?#
微软官方说明:可以用 robots.txt 告诉 Bing 的爬虫如何访问网站,并提供 Verify Bingbot 工具(bing.com/webmasters/verifybingbot)【官方】。官方 UA 是 Chrome 外壳加 compatible; bingbot/2.0,版本号用 W.X.Y.Z 占位【官方】。
这页官方说明没有提到 Copilot 或必应 AI 回答是否复用 Bingbot 的索引【官方】。
屏蔽 Bingbot 会改变什么?#
屏蔽 Bingbot 等于退出必应搜索【推断】。微软没有公布类似 Google-Extended 的单独训练开关(本表未找到)【推断】。
Bingbot 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
怎么确认来访的真是 Bingbot?#
官方工具:Verify Bingbot【官方】。必应在 bing.com/toolbox/bingbot.json 也有一份 IP 列表,但本站 11-08 读取时它的生成日期是 2024-01-03【实测】,可能不全;本站匿名时段有 22 次来自微软自己的网络、/24 不在这份列表里,按「无法确认」处理,不算冒充【推断】。
robots.txt 怎么放行或屏蔽 Bingbot?#
# 放行
User-agent: bingbot
Allow: /
# 屏蔽
User-agent: bingbot
Disallow: /
Bingbot 不该整个屏蔽。bingbot.json 本站读取时已是 2024 年生成的,直接拿它做白名单可能误伤真 Bingbot【推断】;更稳的做法是对可疑 IP 用 Verify Bingbot 或反查确认后,再单独 deny。
本站 15 天里 Bingbot 来了几次?#
| 2026-10-25 01:00 至 11-08 21:22,北京时间 | 【实测】 |
|---|---|
| 自称 Bingbot | 323 次 |
| opengeo.page 主站 / 同机其他站点 | 282 / 41 |
| 最后一次 | 2026-11-08 21:22(北京时间) |
| 完整 IP 时段核验通过 | 132 / 133 |
| 匿名时段 /24 重合 / 不重合 | 168 / 22 |
按 UA 子串计数,含冒充者;完整 IP 截至 10-29 23:10,之后只能比 /24。口径见总表。
关于 Bingbot 的常见误解#
「不在 bingbot.json 里就是假的。」这份列表 2024 年后没更新,本站有 22 次来自微软网络但不在列表【实测】。
常见问题#
怎么确认访问我的是真 Bingbot?#
用必应官方的 Verify Bingbot 工具输入 IP 查询。本站核验时另用了反查(主机名在 search.msn.com 下,再正向解析确认)和 bingbot.json 两种办法。
屏蔽 Bingbot 会影响 Copilot 吗?#
微软这页官方说明没有提到 Copilot。屏蔽 Bingbot 一定会影响必应搜索收录,对 Copilot 的影响没有官方依据。
bingbot.json 可以直接用来放行吗?#
要小心。本站读取时这份列表的生成日期是 2024-01-03,有微软网络的请求不在里面,直接按它拦截可能误伤真 Bingbot。
和 Bingbot 相关的爬虫#
同公司的其他爬虫#
- 本表里 Microsoft 只收了这一个条目。
同用途的其他爬虫#
- Bytespider:字节跳动
- Baiduspider:百度
- YisouSpider:神马搜索
- Sogou web spider:搜狗
- 360Spider:360
- PetalBot:华为
- Googlebot:Google
- Applebot:Apple
- 全部搜索引擎类爬虫与 robots 模板
其他相关#
- OAI-SearchBot:OpenAI,AI 搜索索引
- AI 爬虫收录表
- 按公司看 · 按用途看