终止条件要在试验开始前就写清楚:当“试验页相对对照页的核心指标差异”连续两个观察周期都小于你预设的最小可感知幅度,或者差异方向与假设相反,就停止推广,不进入全站。缺少完整数据或权限时,这个判断仍可执行,但只能得出“暂不推广”,不能得出“该改动无效”或“全站一定受益”。
试验页推广到全站,本质是把一个局部结论外推。外推的前提是差异足够稳定、足够大,且方向一致。因此终止条件应写成三部分:指标、阈值、持续时间。
把这三部分写进一张简单的判定表,任何一项不满足就触发终止,而不是“再看看”。
终止条件不是万能的。一个典型反例:试验页在观察期内恰好赶上一次站外内容被转载,带来一批与改动无关的新访问。此时试验页指标上升,但上升原因不是你的改动。若你按“指标上升就推广”执行,就会把外部事件误判为改动效果。
会让终止条件失效的情形还包括:对照页在同期被其他改动影响;试验页和对照页的流量来源结构差异过大;数据采集在某一周期出现缺口,导致前后不可比。这些情况下,终止条件给出的“继续”或“停止”都不可信。
缺少权限时,你无法排除上述干扰。此时可执行的最小动作是:记录你观察到的差异、时间点和已知的同期事件,把结论降级为“观察到的差异”,而不是“改动导致的差异”。
如果你只有页面级曝光和点击,没有转化数据,仍可以做一件事:把试验页与结构、主题、发布时段相近的对照页配对,比较点击率差异的方向。动作是每周记录一次配对差异,连续两周。
结果如何影响下一步:如果两周方向一致且幅度超过你预设阈值,可以扩大样本到同模板的更多页面再观察,而不是直接全站推广;如果两周方向相反或幅度低于阈值,触发终止,保留现状。这个动作不能推出转化是否改善,也不能推出全站收益,它只能回答“是否值得扩大观察范围”。
终止不等于删除试验页。把试验页恢复为与对照页一致的版本,保留记录,然后回答一个问题:是假设错了,还是执行没到位,还是观察窗口太短。区分这三者需要证据,不是感觉。
若差异方向与假设相反且稳定,优先怀疑假设本身;若差异忽正忽负,优先怀疑观察窗口和外部干扰;若试验页与对照页在改动之外还有别的不同,优先怀疑执行不一致。下一步动作据此选择:改假设、延长窗口,还是先统一两页的无关变量。只有排除这三类原因后,才值得重新设计一次试验。