想自己复现 AI 搜索观测:按 #001 的做法测 5 个平台,先复算再动手

· 约 6 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。

目录
  1. 谁会遇到这个问题?
  2. 第一步:复算 #001
  3. 第二步:照着做一次
    1. 1. 定问题:一个目标问题 + 几个对照
    2. 2. 控制会话:新对话、记下状态
    3. 3. 记录:至少到引用列表这一层
    4. 4. 脱敏后再公开
  4. 测出来和 #001 不一样,怎么办?
  5. 常见问题
    1. 不会抓包,能做这种观测吗?
    2. 为什么一定要新开对话?
    3. 复算脚本会上传我的数据吗?
    4. #001 用的是免费账号还是付费账号?

一句话结论:复现一次 AI 搜索观测分两步:先用公开数据把别人的数字算一遍,确认自己理解了每个数字从哪来;再用同样的做法测自己关心的问题。观测记录 #001 公开了 6 个数据文件和一个复算脚本,34 项数字可以逐项核对【实测】;它也留下了一个教训:5 个平台里有 3 个用的不是新对话【实测】。

谁会遇到这个问题?#

  • 想核实结论的读者。看到「四家的推荐名单只有 2 家重合」「千问检索 20 条只送 5 条」,想知道这些数字是不是真的;
  • 想测自己行业的从业者。做 GEO 服务、或者是品牌方,想知道 AI 在自己的行业里怎么搜、引用谁;
  • 研究者和学生。想在 #001 的基础上做控制变量的实验。

三类人的起点一样:先弄清楚 #001 到底是怎么测的、哪些数字能复算、哪些不能。

第一步:复算 #001#

数据集是 Maodian/opengeo-observation-001(CC BY 4.0),复算固定在版本 0ef3c61。6 个 JSONL 文件的规模【实测】:

文件行数复现时用它来回答
turns.jsonl69每一轮问了什么、在哪个平台、哪个会话
queries.jsonl96AI 把问题改写成了哪些搜索词
sources.jsonl685展示、引用、检索、打开了哪些网页
tool_calls.jsonl81调用了哪些工具(搜索、地区检索等)
signals.jsonl677位置、意图、检索计数、对话历史等埋点
context_probe.jsonl25每轮输入和输出的 token 数

操作只有两条命令:下载 recompute.py,运行 python3 recompute.py。脚本会先核对数据文件的 SHA-256,不一致就停止;然后逐项打印「复算值」和「应为值」。2026-11-08 的运行结果是 34 项全部一致、退出码 0【实测】。

复算不了的部分也要知道:四家最终回答的推荐机构数(16、12、10、6)来自原始抓包,回答正文含个人信息和对商业机构的评价,没有放进数据集,所以无法用公开数据复算【实测】。

第二步:照着做一次#

1. 定问题:一个目标问题 + 几个对照#

#001 的目标提问是「苏州当地有哪些医美」,它是会话里的第 3 问,前两问是苏州的护肤品和一家药企【实测】。这个设计让它意外地观察到了对话历史的影响,但也让结果不干净。自己做时建议:

  • 目标问题写成顾客真实会问的样子,带上城市或场景;
  • 准备 1–2 个对照问题,例如同一行业的另一种问法;
  • 每个问题都记录原话,一字不改。

2. 控制会话:新对话、记下状态#

#001 里,腾讯元宝和 Kimi 是新对话;豆包、千问、DeepSeek 的对话里同样三问此前已经问过一轮【实测】。结果是:豆包的第 2 条搜索词带上了上一问的企业名,回答开头写「结合你的情况」【实测】。

所以:每个平台、每个问题都新开对话,并记下账号是否登录、有没有开记忆或个性化、用的是网页版还是 App。#001 的这些信息有一部分至今是「待补」(见采集方法),这是它最大的短板【推断】。

3. 记录:至少到引用列表这一层#

按投入从小到大,有三个层次:

层次做法能看到
简化版复制回答和引用列表,记下平台、时间、是否新对话推荐名单、引用网址和来源类型
标准版再加浏览器开发者工具里的网络请求部分平台的改写搜索词、检索条数
#001 的做法浏览器自动化提问,通过 Chrome DevTools Protocol 记录 XHR/Fetch,再提取字段存 JSONL搜索词、来源各层、工具调用、埋点

即使只做简化版,也建议把引用列表粘进 AI 引用来源计数器导出 CSV,这样不同平台、不同日期的结果能放在一起比。

#001 的时间窗口很短:DeepSeek、豆包、千问、元宝的主会话集中在 2026-10-30 23:22 至 23:35 的 13 分钟里,Kimi 是两小时后另测的【实测】。平台的检索结果会随时间变化,同一轮比较最好在同一个小时内做完【推断】。

4. 脱敏后再公开#

如果打算公开数据,#001 的做法可以照搬:涉及具体企业的名称换成 XX,能指向它的网址整条删除只留域名;不公开请求头、Cookie、账号、IP、经纬度、回答正文和截图【实测】。平台用户协议是否允许公开抓包数据,要自己先看清楚【推断】。

测出来和 #001 不一样,怎么办?#

很正常,而且有价值。#001 只有一次运行、每家一个账号、一个网络环境【实测】,本来就不代表平台的普遍表现。比对时先排除这几个变量:日期(检索结果会变)、会话状态(新旧对话)、客户端(网页版、App、API 可能不同)、地区(千问在提问前查了 IP 归属地)【实测】。排除之后还不一样,才说明平台本身有变化。

常见问题#

不会抓包,能做这种观测吗?#

能做一个简化版。不抓包就看不到改写后的搜索词和埋点,但回答、推荐名单和页面上的引用列表都能直接复制。记下平台、时间、是否新对话,把引用列表粘进 AI 引用来源计数器,就已经比只看推荐名单多了一层信息。

为什么一定要新开对话?#

因为对话历史会进入搜索词和回答。#001 里豆包把上一问的企业名带进了这一问的搜索词,回答也按之前聊过的护肤内容改了。不控制会话,测出来的差异分不清是平台不同还是上下文不同。

复算脚本会上传我的数据吗?#

不会。recompute.py 只从 Hugging Face 下载固定版本的公开数据集,核对 SHA-256 后在本地计算;已经下载了数据的,可以指定本地数据目录,完全离线运行。

#001 用的是免费账号还是付费账号?#

没有记录。采集方法页把账号类型、注册时长、是否开着记忆或个性化功能都列为待补。自己测时请把这几项记下来,否则别人很难判断你的结果能不能和 #001 比。