継続率の改善効果を厳密に検証したいとき、対象を割り付けて比較する「A/Bテスト」を用いる最大の理由として最も適切なものはどれですか。

正解はCです。A/Bテストは対象を施策あり群となし群に割り付け、同じ期間で比較します。季節やキャンペーンなどの外部要因が両群に等しくかかるため、継続率の差を施策の効果として切り分けやすくなります。全員適用や過去平均との単純比較、サンプル数を問わない有意性は誤った理解です。

この問題の核心は、A/Bテストが「同時期の対照群」を持つ点にあります。前後比較だけだと、改善が施策のおかげか季節要因かを区別できません。同じ時間軸で比べることが、効果の因果を主張するための鍵になります。

施策を試すときは、対象を無作為に2群へ分け、片方だけに適用して同期間で継続率を比べてみましょう。差を見る前に必要なサンプル数の目安を立てておくと、偶然の差に振り回されません。比較群を必ず残す設計を習慣にするのが効果的です。

なぜCが正解か

A/Bテストでは対象をランダムに施策あり群（テスト）となし群（コントロール）に分け、同じ期間に走らせます。季節変動・他施策・市場環境といった外部要因は両群に同程度に作用するため、群間に生じた継続率の差は施策由来と解釈しやすくなります。これが因果を確かめるうえでの最大の利点です。

なぜ他の選択肢が誤りか

Aは全顧客への一斉適用で、比較対象が消えるため効果検証ができません。Bの過去平均との比較は同時期の対照群がなく、季節要因を完全には補正できません。Dはサンプル数を問わず常に有意な結論が出るという誤解で、実際には十分な標本がなければ有意差は判定できません。正しいのはCです。