Q.
「新機能を入れたから継続率が上がった」という仮説をフェアに検証したい。検証設計として最も適切なものはどれか。
解説
原因を主張するには比較対象(使った/使っていない)を同条件でそろえる必要があり、Aが適切。Bは比較対象がなく他要因と区別できない、Cは継続者だけに聞く生存者バイアスで反例を取りこぼす、Dはリリース後に他の変化があっても見分けられず相関を因果と断定する誤り。
【ポイント】因果を確かめるには「比べる相手(対照)」を同条件で置く。片方だけ見ても原因は言えない。
【実務ワンポイント】「Aだから上がった」と言う前に、「Aがない場合はどうだったか」を比べられるデータがあるか確認する。