结论是:把“完成”定义为可复现的交付与可验证的假设结论,而不是排名或流量数字。试验性工作的完成标准应由双方在启动前写成一份实验记录,包含假设、变量、观察指标、观察窗口和终止条件;达到终止条件即视为完成,无论结果好坏。
第一种做法是按“动作交付”定义完成:约定抓取诊断、结构化数据部署、内链调整、页面模板改造等具体动作全部上线并留存记录,即算完成。它成立的条件是客户内部有能承接后续优化的团队,且愿意自己根据数据决定下一步。代价是:如果没人接手复盘,动作上线后可能长期无人评估,投入变成一次性支出。
第二种做法是按“假设验证”定义完成:约定一个可检验的假设,例如“某类页面的索引覆盖偏低主要源于模板层重复内容”,并约定用抓取与索引数据在固定窗口内观察。它成立的条件是站点数据可获取、样本量足够、观察窗口内没有大版本改版或算法更新等外部干扰。代价是周期更长,且结论可能是“假设不成立”,客户需要接受这种否定结果同样是交付物。
选择依据很简单:如果客户要的是可控的工程改造,选第一种;如果客户要的是判断某个方向值不值得继续投入,选第二种。两者可以叠加,但必须分别写明完成条件和验收时间点。
反例是:站点在观察窗口内发生了整体改版、域名迁移或大规模内容下线。此时即使实验记录齐全,观察指标的变化也无法归因于被检验的变量,完成标准就失去意义。另一种失效情形是数据本身不可信,比如统计工具配置错误导致数据缺失,或抓取样本只覆盖了极小部分页面。请求量、抓取量或某项指标归零,不能单独证明处理正确;它也可能来自屏蔽规则变更、日志采样调整、统计口径改动或服务中断。遇到这些情况,正确做法不是宣布实验完成,而是先修复数据链路,再重新设定观察窗口。
假设某站点有约两千个商品页,怀疑分页参数造成重复内容。双方约定:只调整分页的规范化处理,观察窗口为八周,观察指标为抓取分布与索引覆盖,阈值设为索引覆盖变化超过五个百分点才判定为有效。八周后索引覆盖只变化了一个百分点,且期间无改版。按事先约定,这项工作判定为完成,结论是“该假设在当前证据下不成立”,建议下一步转向检查站内搜索页或筛选参数,而不是继续在同一变量上加码。如果八周内发生了全站改版,则实验作废,需要重新设定基线后再开始。
先要求服务方在启动前提交上述实验记录,并逐项确认指标口径和终止条件;确认后,把“完成”的判定权交给记录本身,而不是交给排名截图。评估结束时,依据结论决定是继续同一方向、更换变量,还是转为常规维护。这样做的直接结果是:预算花在可复用的判断上,而不是花在无法验证的承诺上。