1. 首页
  2. 方法

方法版本 v0.1 · 2026-10

方法论

OpenGEO 的每一个数字都对应一个公开的定义、一个公式和一份样本说明。本页是所有图表 ⓘ 的落点。

范围

我们测量中文 AI 搜索平台在回答问题时引用了哪些来源、引用是否可见、是否分散、是否稳定。我们不评价回答的正确性和有用性。

当前覆盖 5 个平台(DeepSeek、Kimi、千问、元宝、豆包)的网页端,未登录、默认联网模式。App 端、登录态和海外平台在计划中。

榜单、实验和数据集页面上标注「示例」的数字目前是示例数据,不是正式测量结果。

指数与评测

问题集

问题集 Q-2026-10 共 90 题,覆盖 6 个行业,每个行业 15 题。题目来自公开搜索热词和用户访谈,由两名编辑独立审核后定稿。

采样

每题在每个平台提问 3 次,间隔 24 小时,均在网页端、未登录、默认联网模式下完成。每次回答保存全文、引用 URL 和截图。

问题集
Q-2026-10 · 90 题
重复
每题 3 次 · 间隔 24 小时
每平台样本
270 条回答
环境
网页端 · 未登录 · 默认联网模式 · 每题间隔 24 小时

指标定义

每项评测的定义、公式与样本。点击名称进入评测页查看各平台结果。

引用可见率Citation Visibility

回答中展示了可点击来源的回答占比。用户能不能看到 AI 的依据,是判断一个回答可不可以核对的第一步。可见率衡量的是「有没有给出来源」,不衡量来源好不好。

引用可见率 = 至少展示 1 个可点击来源的回答数 ÷ 回答总数 × 100%
进入指数 · 1/3%越高越好样本:每平台 270 条回答(Q-2026-10 · 90 题 × 3 次)

来源多样性Source Diversity

引用域名分布的香农指数,按域名总数归一化到 0–1。衡量平台是不是总引用同几个网站。数值越接近 1,引用越分散;越接近 0,越集中在少数网站上。

H = −Σ pᵢ·ln pᵢ ÷ ln N(pᵢ 为第 i 个域名在该平台全部引用中的占比,N 为不同域名数);进入指数时 ×100
进入指数 · 1/30–1越高越好样本:每平台全部被引 URL,按注册域名合并(示例约 1,000 条/平台)

引用稳定性Citation Stability

同一问题重复 3 次,引用域名交集占并集的平均比例。同一个问题隔天再问,平台还引用不引用同样的来源。稳定性低,意味着「今天被引用」不能说明「明天还会被引用」。

每道题取 3 次回答两两之间的 |Dᵢ ∩ Dⱼ| ÷ |Dᵢ ∪ Dⱼ|(D 为引用域名集合)求平均,再对 90 题取平均
进入指数 · 1/3%越高越好样本:每平台 90 题 × 3 次,间隔 24 小时

引用时效性Citation Freshness

被引网页中,发布或最近更新时间在提问日前 12 个月内的占比。衡量平台倾向引用新内容还是旧内容。对价格、政策、产品型号类问题,时效性直接影响答案是否还成立。

引用时效性 = 发布/更新时间 ≤ 12 个月的被引页面数 ÷ 能识别发布时间的被引页面数 × 100%
补充评测%越高越好样本:每平台能识别发布时间的被引页面(约占全部引用的 70%,示例)

官网引用率Official Site Share

全部引用中,指向品牌或机构官方网站的占比。对品牌方最直接的问题:AI 回答提到你时,引用的是你自己的官网,还是第三方的说法。

官网引用率 = 指向品牌/机构官网(含官方商城、官方公众号文章页)的引用数 ÷ 全部引用数 × 100%
补充评测%越高越好样本:每平台全部被引 URL;官网判定按人工维护的品牌—域名对照表(示例)

问答社区占比Q&A Community Share

全部引用中,来自知乎等问答社区的占比。描述平台的来源结构:有多少依据来自用户生成的问答内容。这是一个中性指标,只描述结构,不分好坏。

问答社区占比 = 来自问答社区域名(知乎、百度知道等)的引用数 ÷ 全部引用数 × 100%
补充评测%中性指标,不分好坏样本:每平台全部被引 URL

平均引用来源数Avg. Citations per Answer

每个展示了来源的回答中,平均给出的不重复来源数。来源数量描述回答的「依据密度」。它不进入综合指数,因为多给链接不一定更透明。

平均引用来源数 = 不重复被引 URL 数之和 ÷ 至少展示 1 个来源的回答数
辅助指标个越高越好样本:每平台展示了来源的回答(约 200–250 条,示例)

引用源变化率计划 · 尚未发布

相邻两轮测试之间,同一问题的引用域名被替换的比例。

综合指数

查看指数

OpenGEO 引用透明度指数 v0.1

把「能不能看到来源、来源是否分散、来源是否稳定」三件事合成一个 0–100 的分数,用来比较中文 AI 搜索平台的引用透明度。

指数 = (引用可见率 + 来源多样性 × 100 + 引用稳定性)÷ 3
评测权重换算
引用可见率1/3原值(%)
来源多样性1/3×100
引用稳定性1/3原值(%)

v0.1 没有足够的外部证据说明哪一项更重要,因此三项等权;任何加权方案都会在新版本中单独公布,并同时给出等权结果作对照。 结果四舍五入到整数;相差 3 分以内视为同一档。

排名怎么解释

✓意味着

  • 分数高,说明这个平台的回答更常给出可点击来源、来源更分散、隔天再问时来源变化更小。
  • 相差 3 分以内(v0.1 示例数据的估计误差范围)视为同一档,不应解读为名次差异。
  • 指数适合比较「同一轮、同一问题集」下的平台;跨轮比较请看「随时间变化」并留意版本号。

✕不意味着

  • 不衡量回答是否正确、是否有用。
  • 不衡量来源是否权威可信。
  • 不代表某个品牌在某个平台上「更容易被推荐」。

局限

  • 网页端、未登录、默认联网模式,结果可能与 App 或登录用户不同。
  • 问题集偏向消费类行业(6 个行业各 15 题)。
  • 三项指标存在相关性(可见率低的平台,多样性和稳定性的样本也更少)。
  • 平台更新模型或检索策略后,分数会变化;每轮结果只代表测量当月。
  • 榜单、实验和数据集页面上标注「示例」的数字目前是示例数据,不是正式测量结果。

复现

复现代码整理中,公开后在此更新。公开后任何人用同一脚本和问题集重跑,都应得到误差范围内的结果;出现明显偏差的实验会标回“初步”。

版本记录

  1. v0.12026-10

    首版。3 项评测等权;问题集 Q-2026-10(90 题);5 个平台;另发布 3 项补充评测(时效性、官网引用率、问答社区占比)不进指数。

  2. v0.2计划

    计划加入「来源可核验率」(链接可打开且内容与回答一致),并公布加权方案与等权方案的对照。