改完页面后引用增加，真是优化带来的吗？GEO 对照实验与归因

前后两张截图，缺少的是反事实

你改了产品页面，一周后 AI 在选型答案里引用了它。这个时间顺序值得记录，却没有独自证明修改有效。同期可能发生了平台升级、检索更新、媒体报道、竞品页面失效，甚至测试人员把题目从“选择知识库”改成了“选择支持本地部署的知识库”。这些变化都可能影响结果。真正想回答的问题是：在同一个后测环境里，如果没有改页面，答案本来会怎样？这个无法同时观察的状态，就是反事实。

GEO 效果验证的难点在于，网站并不控制商业答案引擎，也不能随意把同一搜索用户分配到两个版本。常见网站按钮的随机实验经验不能原封不动搬来。我们可以控制公开内容的变化、题库、采集记录和复核规则，但索引何时刷新、平台怎样组合来源，以及竞争内容怎样变化，往往仍然不可控。

因此，可信的项目不需要先许诺一个提升百分比，而应先说明能够采用哪一级证据：随机分配的内容实验、条件较强的准实验，还是只有时间标记的前后观察。三种设计都可能有业务价值，但结论强度不同。本文用原创教学数据讲清最容易出错的地方，没有在真实站点实施改动，也没有调用模型或宣称完成现实因果实验。

先把干预写成一个能够验收的动作

“做了 GEO 优化”太宽，无法归因。一个可验证的干预可以是：在产品权限页新增一张经过产品经理确认的迁移限制表，保留旧段落，更新内链，并给出版本日期。另一个动作可能是重写服务首页、发布新闻和购买广告；这属于组合干预，如果一起发生，最后最多评估整个组合，很难判断哪一项造成变化。

变更记录需要包含改前、改后的正文版本、发布时间、相关 URL、预期影响的买家问题、影响路径与验收条件。预期路径可以写成“完整限制条件使来源更适合回答权限迁移题”，但这是待检验假设，不是已知平台规则。与此同时，设置保护指标，例如功能描述错误率、读者理解困难或实际访问异常，防止为了名字出现而牺牲事实准确性。

在收集结果前，先指定一个主要结果，例如“非品牌迁移题中，回答是否引用目标文档且正确保留限制”。把提及、引用和准确性分别保存，不宜在结果出来后临时挑最有利的组合。若多项变化确实必须同时上线，可以承认这是一次产品内容发布观察，并把因果问题留给后续更窄的实验。

分配单位不能被大量回答掩盖

假设只改了一张权限页，却对它设计一百道问题，再各跑十次。你获得了一千份回答，但仍然只有一个被修改的页面单位。它们共享页面事实、索引状态和外部环境，不能当成一千个独立接受干预的对象。把这些回答随意分成处理组和对照组，也不会创造出真正未受影响的页面。

应该先确认干预在哪个层级分配：独立页面、产品专题、域名，还是时间段。观测单位可能是答案，但不确定性估计要尊重分配和依赖结构。多个页面共享模板、导航与品牌实体时，修改其中一个还可能影响其他页面的被发现机会，这就是组间影响。对照组如果通过内链读到了新资料，就不再是完全未处理的参照。

在现实可行的情况下，可选择多个相近且彼此影响有限的页面簇，先匹配历史表现与题目用途，再在簇层随机分配改动。随机化应在看后测结果前完成，并留下固定分配记录。关于随机化、实验单位与统计功效的基本原则，可参考 Kohavi 等人的受控实验指南。本文的页面簇设计是面向 GEO 的独立业务分析，不是该论文已经验证的现成平台实验。

基线和对照要在变更前准备

只有变更前一天的记录，可能恰好是异常高点或低点。尽量用多个预先约定的时间批次观察基线，并保留各题完整答案与失败情况。处理组和对照组需要在相近的时间窗口采集，避免上午全部测处理组、平台更新后晚上才测对照组。能采用交错顺序，就事先安排顺序；不能完全同时，也要记录时间差。

对照不应仅因为“没有改过”就被选中。一个比较开源许可证的页面与一个介绍旅游旺季的页面，受到的新闻、季节与查询意图影响不同，很难帮助解释共同环境变化。更合理的对照应在主题、受众、历史趋势和更新需求上接近，但又不会直接承接同一内容改动。找不到这样的对象时，应降低结论力度，而不是强行画两条可比较的线。

另外，发布完成不等于内容已经进入目标系统。本次采集能否看到新版本，需要用实际来源地址、页面内容或明确的更新证据确认；只看到引用 URL 相同，并不能证明平台读取了新文本。可设置预先定义的观察窗口，但不要为了等到漂亮结果，事后无限延长“生效期”。无法确认暴露状态时，报告“发布后观察”，不要写成“平台已采用新版本”。

用差分中的差分解释共同变化

下面全部是教学数据。八个假想页面簇分成处理和对照两组，每组四簇。每簇预先关联固定题集；表中数值是各簇的目标结果比例，并非真实品牌成绩。处理组改前为百分之二十、二十五、三十、二十五，改后为四十、四十五、四十五、五十。对照组改前为二十、二十五、二十、三十五，改后为二十五、三十、三十、三十五。

处理组改前均值 T0 = 0.25
处理组改后均值 T1 = 0.45
对照组改前均值 C0 = 0.25
对照组改后均值 C1 = 0.30
差分中的差分 D = (T1 - T0) - (C1 - C0)
D = 0.20 - 0.05 = 0.15

这里的 T、C 表示组别，零、一表示前后时期，均值按照页面簇等权。处理组观察到增加二十个百分点，而对照组也增加五个百分点；扣除这部分共同变化后，差分为十五个百分点。它不是“增长百分之十五”：若要表达相对于原百分之二十五基线的大小，必须另算并说明基准。更重要的是，减法正确不代表因果假设自动成立。

差分中的差分要求在没有处理的情况下，两组结果具有可比的变化趋势。观察到此前趋势相近有帮助，但不能证明未来反事实必然平行。若媒体只报道了处理组产品，或处理组恰好经历发布会，差分仍混入其他影响。关于这种方法的识别问题与多期扩展，应查阅 Callaway 与 Sant’Anna 的原始研究，不要把本文两期演算推广成任意错峰上线都可直接相减。

一个可复现的随机化演算

本文脚本进一步计算一个很小的教学随机化检验：假定八个页面簇确实是独立单位，并在开始时从中随机选四个接受处理。在“处理对每个单位都没有影响”的尖锐零假设下，固定八个已观察变化值，枚举全部四选四的分配，一共有七十种。每次计算两组变化均值之差，再比较有多少分配的差异绝对值至少像观察到的十五个百分点一样大。

for treated in combinations(8 page_clusters, 4):
    control = remaining_clusters
    statistic = mean(change[treated]) - mean(change[control])
p = count(abs(statistic) >= abs(observed)) / 70

确定性计算得到两种分配满足条件，比例为二除以七十，约零点零二八六。这里的 p 是在明确的随机化机制与零假设下，产生至少同样极端统计量的比例，不是“优化无效概率为百分之二点八六”，更不是成功概率为百分之九十七。教学数值刻意便于理解，不能拿来作为真实项目显著性证明。

这个演算最重要的限定是随机分配确实发生过。如果业务方凭经验把最有增长潜力的四页选为处理组，再事后枚举七十种组合，并不会补出真正的随机实验。页面簇若互相传播新信息，也违背简单置换的解释。真实项目的检验与区间应由实际分配机制决定，不能只因为程序可以输出一个数，就认为设计可靠。

重复、聚类和小样本怎样进入估计

同一道题在多个模型上重复，会提供配置差异的信息，但多个答案共享题目难度。一天内密集采样可能共享搜索缓存，连续数天也可能共享同一资料更新。分析时需要识别这些依赖，而不是假设所有行彼此独立。最基本的展示应保留页面簇、题目、平台和时间批次，让读者能看见差异究竟来自哪里。

如果干预以页面簇分配，可按页面簇计算变化，再在满足方法条件时构造聚类层级的区间或随机化检验。若还存在明显共同时间冲击，需要考虑相应依赖结构或采用更保守的设计。只有两三个页面簇时，常规大样本近似可能很不可靠；多生成几百份回答，不能消除独立处理单位太少的问题。

统计功效也不等于“样本越多就能证明有效”。在开始前先讨论最小值得行动的差异、基线波动和可承担的采样成本。若预算只能支持小诊断，应把目标写成发现反复的事实错误或形成下一轮实验假设。一次未达到显著阈值的结果，不能自动表述为没有作用；它可能只是没有足够证据区分小变化与噪声。

防止挑题、偷看和多次比较

如果测了二十个平台、十种题目分组和五套指标，总能找到一个看上去改善的角落。看完数据才宣布它是主要结果，会高估证据。应预先冻结题库与主要结果，其他分析明确标为探索，并尽量在新时间窗口验证。探索并非错误，错误在于把探索包装成事先确认的检验。

每天看一次指标，一旦显著就停止，也会改变误报概率。固定观察期是一种容易执行的办法；若确实需要连续监测，应采用与连续判断相匹配的统计设计。业务事故可以提前停止，但需要记录事故和停止原因，不能把中途挑出的高点当作完整实验结果。

题目变化同样要严格记录。优化前问“有哪些工具”，优化后加上产品独特特征，即使不直接点名，也会改变候选空间。后测若不得不修正不清楚的问题，应保留原题结果，并把新题作为新系列建立基线。人工标注规则若发生变化，也应回溯重标可比较的历史，避免评分尺子自己变化。

把失败和负面结果留在账本里

对照实验里的失败可能改变组间可比性。若处理组复杂题经常超时，而对照组简单题几乎全部完成，只分析成功答案可能挑出不同人群。应并列完成率、拒答与截断分布，说明重试是否在两组遵循同样规则。传输错误恢复只解决缺失采集，不能偷偷改变原题或搜索设置。

若修改后品牌出现更多，但错误描述也增加，应同时报告。某段夸张的性能文字可能让系统更容易提及，却让买家误以为产品支持没有提供的部署方式。这样的结果不应被当成优化胜利。保护指标应与主结果一起进入决策，严重事实错误即使伴随曝光上涨，也应优先修正。

没有变化也能指导预算。可能原页面已经满足需求，新增内容没有改变来源选择；也可能平台尚未读到新版本，或者指标不够敏感。根据证据逐项区分，停止没有支持的扩张动作，比在每次发布后发明一个成功解释更有价值。报告应保留原假设、实际执行偏差和下一步，而不是删除没有提升的页面。

客户可以怎样验收这类工作

还可以安排一轮没有真正改动的流程检查。让两组经过相同发布与采集流程，内容保持一致，确认是否由于执行顺序、题目路由或人工标签造成系统性差异。这类检查不能保证以后的实验一定可靠，却可以提前发现一些工程偏差。若发现两组计划数量不符、某类题目被静默跳过，应先修复记录链，再进行内容干预。

实验结果的报告范围也应预先限定。一个英文开发者文档试点不能自动推广到中文旅游服务；一个现有热门项目的结果也不能证明新品牌采用同样方法会获得同等变化。可复制的是冻结问题、保留版本和复核原件的程序，效果仍需要在新的业务环境中重新验证。

一个可验收的交付包包括干预前后版本、预先确定的题库与分配记录、采集窗口、所有尝试的状态、完整答案、人工标签依据和复算程序。客户应能够从“十五个百分点的教学差分”一路回到八个页面簇的前后数值；现实项目也应建立同样的追溯链。缺失哪一环，就明确缺失如何限制结论。

本文的 part-b-run-examples.py 保存全部八簇数据，运行后写出 P15-result.json，其中包含组均值、差分、七十种分配的数量与随机化检验结果。读者可以先把一个对照组后测值改大，再观察差分变小；也可以将所有组同时加上相同常数，理解共同变化如何抵消。这是统计教学，不是已执行网站干预。

开始项目时，NiubiGEO 可以协助保存回答基线、核对来源与定位具体内容问题；内容实施与人工测试按确认范围安排。若希望回答“这笔投入产生了多少新增咨询”，还需要网站、线索和财务记录，并采用适合业务层面的对照。可继续阅读从 AI 可见度到有效线索。一份诚实的报告会分别呈现已经交付的工作、观察到的变化和仍未建立的因果关系。