数字是工具,不是真相。知道数字会骗人,才能用好数字。
「DAU 增长了 100%!」听起来很厉害。但如果基数是 1,增长到 2,这个 100% 几乎毫无意义。
破解方法:永远同时报绝对值和相对值。「DAU 从 1 万增长到 2 万(+100%)」比只报「+100%」诚实十倍。
二战时,盟军统计返航战机,发现机翼弹孔最多,于是决定加固机翼。但数学家亚伯拉罕·沃尔德指出:统计的应该是没有返航的飞机——那些机翼被击中却没回来的,才是真正被打中的地方。
产品中的幸存者偏差:「我们的付费用户满意度是 4.5 分」——但 4 分以下的用户可能已经流失了,他们没有机会被调研到。
破解方法:流失用户分析才是关键。不要只看留下来的用户的满意度,要同时看流失用户为什么走。
两个变量相关,只说明它们「同时变化」,不等于一个导致另一个。常见误读:
「用了我们功能的用户留存更高,所以这个功能提升了留存」——但高留存用户可能本来就更活跃,有没有这个功能都会留。
破解方法:相关只是发现因果的起点,不是终点。想证明因果,必须设计控制变量的实验。暂时无法做实验时,结论要保守:「数据显示两者相关,可能的原因是……」
跑了 10 个指标,只报 1 个显著的——这是最常见的「数据造假」方式,也是最难被发现的。
破解方法:汇报时说明「我们测了哪些指标」。不显著的指标也要呈现,并解释「为什么不显著」——这反而体现了分析深度。
用户平均使用时长 20 分钟——但这个 20 分钟是两个完全不同的用户群:活跃用户每天 45 分钟,低活用户每天 2 分钟。均值 20 掩盖了这个事实。
破解方法:报均值时永远加中位数和分布描述。「均值 20 分钟,中位数 12 分钟(说明超过一半用户低于均值)」——中位数低说明分布右偏,少数高活用户拉高了均值。
UC Berkeley 1973 年录取数据:整体看,女生录取率低于男生;但分系别看,每个系女生录取率都高于男生。原因是女生更多申请了竞争激烈的系。
产品场景:某功能改版后,整体留存提升,但拆开看新用户留存下降、老用户留存大幅提升——整体数字掩盖了人群差异。
破解方法:下结论前,先按关键维度分层(新用户/老用户、iOS/Android、高活/低活),看各层结论是否一致。如果不一致,结论要加上「在 X 人群中……」的前提。
提示:点击正文区域或按 ← → 方向键翻页 · 按 ↑ ↓ 滚动