GEO 报告里哪些数字值得信？指标、分母和样本设计

先看这个数字回答了哪个经营问题

一份报告写着“品牌可见度为百分之五十”，并没有告诉你客户是否更容易选中产品。这个数字可能来自点名品牌的解释题，也可能来自没有品牌名的选型题；可能把一次回答里的十二次重复算成十二次出现，也可能只数有效回答；甚至可能只保留成功截图。判断数字是否可信，应先找到问题原文、统计单位和未完成记录，再看小数点保留几位。

对软件团队而言，真正需要作出的决定通常很具体：私有部署能力是否被理解，迁移限制是否被漏掉，买家寻找某类解决方案时是否会遇到项目。如果测的是“请介绍甲产品”，得到甲产品的名字，只证明这条提示下出现了名字。它不能回答“不认识甲产品的人会不会找到它”。如果混在同一个总分里，团队可能花钱改善已经很好的品牌解释，却没有接触到真正的发现问题。

本文建立一套可以复算的口径，不要求企业采用统一的神秘评分。所有数字均为原创教学数据，具体计算已经离线执行；它们不是 NiubiGEO 客户成绩，也不是任何平台的市场统计。关于引用是否支持主张，可以接着读引用核查方法；本篇集中解决“怎样数才不误导”。

三类题目应保留三张成绩单

品牌认知题会提供产品名称或网址，适合检查业务定位、许可、功能与当前版本。自然发现题不提供品牌，适合观察某个采购需求下返回哪些候选。明确对比题把两个或多个候选交给系统，适合检查比较维度与适用条件。三类题目没有高低之分，区别在于各自能支持的结论。

例如，“甲知识库是否支持组织内权限继承”是认知核查；“十五人的工程团队需要本地部署、保留权限的知识库，应评估什么”是发现观察；“甲与乙在权限迁移和维护成本上如何比较”是对比观察。最后一题中甲被提到是题目已经给定的条件，不能当自然曝光。没有任何品牌的“迁移知识库之前应审查哪些权限”则是方法题，回答不列产品也可能完全合格。

建立题库时，应给每题保存主要用途、买家角色、场景约束与选择理由。不要把十个只改词序的问题当十种需求，也不要用咨询方擅长的术语替代买家语言。业务负责人需要确认这些题目确实对应客户决策，而不是仅仅容易让某个品牌出现。题库仍然是有目的的样本；除非具备可靠总体和抽样过程，否则不能称作全市场查询分布。

把提及、引用、推荐拆成可检查标签

提及表示回答文本中出现且指向目标实体。重复出现多次，在“回答级提及率”里仍只计一次。必须处理同名公司、缩写、旧产品名和名称碰撞；仓库路径里出现公司字符串与正文向买家介绍公司，最好分栏记录。负面提及也属于提及，但应另标语境，不能算成正面推荐。

引用需要定义你在数什么。正文中的普通网址、平台返回的来源注释、可点击来源卡片并不等价。可以统计“带官方域名的来源注释回答数”，但名称就要写到这个程度。两条不同追踪参数的链接是否归并，应有统一规则并保留原始地址。一个网址被标注三次，并不自动变成三个独立来源；来源存在也不等于它支持旁边全部句子。

推荐表示回答将产品列为适合当前需求的可评估或可采用选择，需要结合语言和条件人工判断。“不建议用于严格离线场景”不能算正面推荐；“若可以接受托管部署，可评估甲”是有条件推荐，应保存条件。多个品牌可以在同答同时被推荐，所以各品牌回答级推荐率相加可能超过百分之百，这不是算错，也不应强行归一成所谓市场份额。

分母应从采集状态开始建立

先区分计划格、传输尝试和有效答案。一个计划格可以定义为“某题、某平台配置、某次预定重复”。网络错误后重试，会增加尝试次数；它不会自动产生新的业务问题。完整答案、截断答案、提供方拒答、网关拒绝、访问失败和等待中应分开保存。没有答案的网关错误，不能被填成“模型没有推荐品牌”。

教学批次计划三十格。首轮二十一格完成、九格失败；其中三格按事先规则恢复成功。最后共有二十四份完整答案、六格未完成、三十三次传输尝试。十二份完整答案提及目标，八份带符合本次定义的引用，五份作有条件或明确推荐。于是完整答案内提及率为百分之五十，引用率为百分之三十三点三，推荐率约百分之二十点八；计划完成率为百分之八十。

这里必须同时写“三十格计划、二十四份答案”，不能只展示漂亮的百分之五十。三十三次请求适合核对成本和传输可靠性，不能拿来当独立受测消费者。恢复记录应保留原请求、时间、状态和原件校验值，写明是否用了相同问题和配置。若已经得到答案后为了找到更好结果而反复重跑，应视为额外采样并全部保留，不能覆盖原答案。

用公式把口径固定下来

设计划格数为 N，最终完整答案数为 n，回答级提及、引用和推荐指示变量分别为 mᵢ、cᵢ、rᵢ，满足条件时取一，否则取零。对无法判断实体或推荐语义的答案，不要武断给零，应记录待核查状态，并公开相应有效标签分母。

完成率 = n / N
完整答案内提及率 = sum(m_i) / n
完整答案内引用率 = sum(c_i) / n
完整答案内推荐率 = sum(r_i) / n
某场景分层率 = 该场景符合标签的答案数 / 该场景有效答案数

这些式子描述的是给定题库、时间窗口和配置下的观察，不是平台内部概率。若某个标签只有二十份可判断答案，就应写“二十份可判断答案中的比例”，并同时给出四份无法判定。为了客户阅读方便，可以四舍五入，但底层整数不得丢失。百分之三十三点三在八除以二十四时只是显示格式，不比“八份”包含更多信息。

还有一个常见陷阱：把每份答案中的名字数量相加，再除以所有品牌名字总数。这得到的是指定候选集合内的字符串或实体提及份额，受回答长度、重复称呼、候选名单影响。即使计算正确，它也不是独立买家覆盖率。指标名称应包含“固定样本”和“回答级”等限定，避免后续销售把一个内部监测值转成市场宣传。

未完成结果会怎样改变解释

只看成功答案，相当于研究“在能够获得完整回答的条件下”品牌怎样表现。若失败集中在某个模型、语言或复杂问题上，成功集合就可能改变。上一期复杂部署题大量失败，这一期恢复了，提及率下降，未必是内容变差；也可能只是更难的问题终于进入分母。因此，前后对比需要并列各场景完成率，而不能只比较最终总分。

教学批次还有六格未知。假设这六格在相同条件下都能够获得答案：若它们全不提及，三十格中的提及比例会是十二除以三十，即百分之四十；若它们全提及，则是十八除以三十，即百分之六十。这是缺失结果敏感性范围，显示当前证据的空白有多大，不是置信区间，也不是允许把未知硬填成两种结果。

若上下限跨过业务动作门槛，优先解决缺失或降低结论力度。例如，团队事先约定仅在“某类错误反复出现且有足够完整回答”时修改文档，那么故障样本多的场景应先补采集，不能急着宣称文档无效。对于系统明确拒答的题目，可以另报告拒答率及问题适用性；拒答本身通常不支持品牌曝光失败的解释。

样本大小与重复程度是两件事

二十四份答案不一定是二十四个独立样本。它们可能来自六个需求，每题重复四次；也可能来自同一页关联的二十四种措辞。题目、模型、时间批次共享条件，会使答案相关。增加同一题重复次数能帮助观察波动，但不能代替更多独立业务场景。报告应同时展示独立题目数、每题重复数、平台数和时间批次。

如果暂时把十二次提及、二十四次观察当作独立且同分布的二元试验，Wilson 方法给出的百分之九十五区间约为百分之三十一点四至六十八点六。这个数值是为了说明小样本的不确定性，真实混合题库不应直接套用独立假设。该区间方法可参阅 NIST 的二项比例区间说明；采用任何区间前，先审查实验单位是否符合方法条件。

对于有题目聚类的数据，更合适的做法是以题目或实际干预单位重采样，保留内部重复，或者仅展示逐题计数和分布。只有三道题时，精致的区间也无法创造更多题目覆盖。负责人应先决定想推广到什么范围：这三种采购任务、整个工程客户群，还是某个市场。统计方法解决不了范围被偷偷扩大的问题。

权重改变问题，也可能遮住弱项

假设二十四份答案中，权限迁移场景有十八份、其中六份提及；部署成本场景只有六份，却六份都提及。直接汇总为十二除以二十四，即百分之五十。如果让两个场景权重相同，则是三分之一与一的平均，约百分之六十六点七。这两个结果回答的问题不同：前者按当前采样数量加权，后者把两个业务场景视为同等重要。

权重必须在看结果前，依据可解释的业务优先级确定。不能因为高分场景看起来漂亮，就提高它的权重。若没有真实需求量数据，可以采用等场景权重，但要明说是编辑或业务选择，并同时保留未加权计数。与其给总分附上一串难以理解的权重，不如把高价值场景的错误原文放在首页，说明这会怎样影响客户选型。

同样，平台权重也不能靠“大家应该都用这个”猜测。企业可以通过访谈、合规分析工具或已有客户研究了解使用情境，但不应从一份 API 报告推断整个市场的平台占有率。若真实分布未知，给每个平台独立面板，比包装成一个虚假的总体分数更有用。

自动评分之后，怎样安排人工复核

自动化适合做实体候选匹配、网址去重、状态归类与公式计算；人工需要核对同名误判、推荐条件、负面语境和来源支持关系。复核人员最好先看问题、完整答案与固定的标签规则，再看品牌所属组别或优化前后标签，减少期待对判断的影响。争议样本可以由第二人独立标注，并保存为什么改判。

Ragas 原论文把检索上下文、回答与来源的一致性等维度分开评价，这对建立多维检查表有启发。但其自动评价框架不是商业品牌可见度的统一标尺，模型评审也不是人工事实验证的替代品。尤其当缺少实际检索上下文时，不能拿最终回答硬推一个“检索精确率”。可观察数据不足，就把该项保留为未知。

在教学批次中，可先随机抽取有提及、无提及、引用存在和引用缺失的样本，再检查所有高风险差错，例如把商业版本称为全开源。抽样复核要说明抽了多少、按什么层分配；修正后重新计算全部受影响指标。如果同一种实体误判出现多次，应修改规则并回溯历史，而不是只纠正这周截图。

把统计结果变成可执行的客户报告

业务验收还应确定错误的重要性。把官方支持邮箱的大小写写错，与把仅供研究的工具推荐为临床决策系统，不能在简单错误总数中视为完全相同。可以保留原始错误计数，再按事先定义的影响等级列出优先处理项；严重程度由实际产品事实与使用后果决定，不由品牌是否喜欢这份回答决定。

客户首页可以只保留四件事：本次覆盖哪些真实场景、观察到什么、哪些证据支持、下一步准备改什么。比如“在六份成本选型答案中均出现，在十八份权限迁移答案中出现六次；后者三份误述权限继承，需要先补文档说明”。这比一个整体上涨的分数更接近产品团队可以行动的任务。

技术附录保存完整题库、执行条件、状态账本、计数规则、来源原件和计算脚本。正文不需要暴露账号标识或内部路径；使用稳定证据编号即可。数据修订应写修订原因，原始答案与新标签分别保存，避免复核后再也找不到当时展示了什么。

读者可以复现本文的算术：建立三十格计划，记录二十四份完整答案与六格未知；填入十二、八、五三个计数；计算三项比例、完成率与敏感性上下限；再把两个场景拆开计算等权平均。随文教学脚本 part-b-run-examples.py 和 P14-result.json 保存了输入与输出。脚本只执行确定性运算，不调用模型，也不验证现实中的品牌表现。

如果准备开始真实诊断，先和业务人员选出三个有明确购买约束的问题，再约定标签、重试和复核规则。NiubiGEO 的系统采集与人工核查可以围绕这些可验收材料组织；更复杂的前后效果判断，需要进一步使用对照实验与归因方法，不能把这份描述性统计直接当成优化带来的收入证明。