在搜索榜单分析里,把相关当成因果最常见的表现是:看到某个词排名上升,同时某个页面点击量也上升,就断定是这个词带来了点击。要避免这个错误,先问一句:除了这个原因,还有没有别的解释能同时说明这两件事?时间和人手有限时,优先处理那些能排除其他解释的检查项,而不是急着下结论。
搜索榜单分析中出现的相关,至少有三类,混在一起就容易误判。
多数榜单只呈现前两类。把它们直接当成第三类,就是本篇要解决的问题。判断标准很简单:如果换一个时间段、换一个对照对象,关系就消失,那它更可能是相关而非因果。
时间和人手有限时,不必对所有榜单条目做完整分析,按下面顺序推进即可。
这套顺序的价值在于:它把“先动手”换成“先排除”。排除一个解释,比多做一个动作更能降低误判成本。
第三方估算流量、搜索引擎自己给出的报告、站内统计,这三者的口径不同。第三方估算通常基于模型和抽样,搜索引擎报告侧重展示与点击,站内统计记录的是实际到达行为。把其中两个数字直接相减,再解释成某个词带来的增量,很容易出错。
可执行的检查项:
适用条件:当你手上只有榜单和一份统计报表时,这种方法能帮你判断结论是否站得住。判断结果是——如果口径无法对齐,就只能说“同期出现变化”,不能说“由某因素导致”。
想验证因果,最省力的做法是找一个对照。例如某页面改标题后排名上升,可以看同一站点结构相似、未改标题的页面是否也上升。如果都上升,更可能是整体因素;如果只有改动页面上升,因果假设才更可信。
反向检验同样重要:假设是“内容更新带来排名”,那就检查更新之前是否已有上升趋势。若上升在更新前就开始了,更新只是伴随动作。
假设示例:某榜单显示三个词排名同时上升,同时站点上线了新栏目。此时不能直接归因于新栏目,应先看这三个词对应页面是否都链接到新栏目,再看未链接的页面是否也上升。这个例子仅用于说明排查思路,不代表真实项目结果。
如果只能做一件事,优先核对“时间点是否对齐”和“是否存在同期其他动作”。这两项成本最低,却能排除大部分伪因果。其次做对照检查,最后才考虑更复杂的归因模型。
把结论写成可复查的形式:现象、可能原因、已排除的原因、待验证的原因、下一步动作。这样即使换人接手,也不会把相关重新当成因果。
下一步:挑出榜单里变化最明显的一条,按上面的四步写一份简短记录,只保留能区分不同解释的证据。