「新機能を入れたから継続率が上がった」という仮説をフェアに検証したい。検証設計として最も適切なものはどれか。

因果を確かめるには、「比べる相手（対照）」を同じ条件で用意することが欠かせません。片方のグループだけを見ても、その結果が本当に原因によるものなのかは言えません。「使った人」だけでなく「使っていない人」と並べて比べる、という設計が核心です。

「Aだから上がった」と言いたくなったら、その前に「Aがない場合はどうだったか」を比べられるデータがあるかを確認しましょう。比較対象が用意できていなければ、原因だと言い切るのは早すぎます。「ない場合と比べられるか」を口癖にして、因果の早合点を防ぐのが効果的です。

正解はAです。「新機能が原因で継続率が上がった」と主張するには、新機能を使ったグループと使っていないグループという比較対象を、同じ条件でそろえて比べる必要があります。Aがこの条件を満たしています。Bは、使った人の継続率だけを見ており、比較対象がないため、他の要因と区別できません。Cは、継続した人にだけ聞く生存者バイアスに陥っており、離脱した人という反例を取りこぼします。Dは、リリース後に別の変化があったとしても見分けがつかず、たまたまの相関を因果と断定してしまう誤りです。