网站 流量：访客被分配到不同版本时怎样识别样本污染，先定义污染：不是数据脏，而是分组边界被穿透
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c525ee37530c.html
📄
网站 流量：访客被分配到不同版本时怎样识别样本污染，先定义污染：不是数据脏，而是分组边界被穿透
识别样本污染的关键，是先确认“同一批访客”是否真的被同一套规则分配，再把分流日志、页面版本标记和转化数据按访客维度对齐。只要分组依据来自两套以上逻辑，或者旧版本仍在承接一部分入口流量，样本就不再干净，此时对比两组流量高低很容易得出错误结论。
先定义污染：不是数据脏，而是分组边界被穿透
样本污染常被误认为埋点缺失或统计口径不一。更准确地说，它指访客在实验期间接触了不属于其分组的版本，或分组本身与访客特征相关。例如按登录状态分流，却让未登录访客进入另一版本；又比如新版本只挂在部分入口，旧版本继续承接自然流量，两组人从一开始就不同。
判断是否污染，可以看三个信号：同一访客 ID 是否出现多个版本标记；分组比例是否随入口来源变化；退出旧版本后，原分组差异是否消失。前两个信号指向分配逻辑问题，第三个指向旧入口残留。
假设情境：旧活动页退出时，两组流量差异反常
假设一个内容站要下线旧活动页，把访客迁到新版页面，同时保留旧页中仍然有效的报名表单。团队按访客 ID 尾号分流：尾号单数看新版，双数看旧版，并对比两组的表单提交率。运行三天后，新版提交率明显更低。
这个差异未必说明新版设计差。需要先查：新版页面是否对所有入口生效，旧版报名表单是否仍被外部链接直接访问，以及分流脚本是否在缓存命中时跳过。若外部链接绕过分流直接落到旧版，那么旧版组里混入了目的更明确的访客，新版组则混入了被强制跳转的访客，两组从一开始就不可比。
用证据链代替单指标：三条可核查的线索
不要只看站内统计的提交率。第三方估算流量、搜索引擎报告和站内统计口径不同，单看任何一个都容易误判。更可靠的做法是建立一条从入口到转化的证据链。
- 入口来源与版本标记对齐。检查每个入口 URL 是否携带版本参数，落地页渲染时是否写入访客可见的版本标识。若某入口的版本标记缺失比例明显高于其他入口，污染很可能来自该入口。
- 访客级去重后的分组比例。按访客 ID 去重，看两组人数是否接近预设比例。若旧版持续高于预期，说明有绕过分流的访问在持续进入。
- 退出旧入口后的变化。假设把外部直链统一改写到分流入口，再观察一天。如果两组提交率差距收窄，污染来自入口残留；如果差距不变，才需要继续查页面本身或分流脚本。
这三条线索的作用是排除合理解释，而不是证明某个版本更好。抓取量或某入口流量归零，也可能只是链接被替换或缓存更新，不能单独证明分流已经干净。
决定保留还是退出：按访客意图切，而不是按页面切
当旧内容、旧系统或旧合作关系需要退出时，保留有价值部分的前提是：保留的那部分不能继续影响新分组。可操作的做法是先把旧版中仍有价值的表单或内容迁到新版，再把旧入口统一改为跳转，而不是让旧页面继续独立承接流量。
如果旧版确实需要保留给特定人群，例如已登录的老用户，应把这一条件写进分流规则，并在分析时单独列出，不混入主对比。动作上，先关闭外部直链，再观察一个完整访问周期；若分组比例回到预期，说明污染已受控，下一步才能比较版本效果。若比例仍偏离，应继续检查缓存、跳转链和埋点触发顺序，而不是急着下结论。
识别污染之后，先修复分配再谈结论
样本污染不会因为多跑几天数据而自动消失。只要旧入口、旧缓存或旧合作关系仍在把访客送进非预期分组，任何对比都建立在混合样本上。先让分流规则覆盖全部入口，再按访客维度复核版本标记，最后才用同一口径比较转化。这样得到的差异，才值得作为退出或保留决策的依据。
