マーケティング
マーケティングオートメーション問題集
Q.
メール配信でA/Bテストを行うとき、結果を正しく比較するための条件として最も適切なものはどれか。
解説まとめ
正解は B です。A/Bテストは、検証したい要素を1つだけ変え、それ以外の条件(配信時間、対象リストの性質など)をそろえて比較するのが基本です。複数の要素を同時に変えると、結果の差がどの要素によるものか特定できません。条件をそろえることで、変えた1要素の効果だけを取り出して評価できます。
ポイント
A/Bテストの核心は「変える要素を1つに絞り、他をそろえる」点です。複数同時変更(A)・対象の質が違うリスト(C)・時期をずらした比較(D)は、差の原因を特定できなくします。比較できる条件を整えることが要点です。
ワンポイントアドバイス
件名を試したいなら本文や配信時間は同じにし、対象も無作為に2グループへ分けてみましょう。「変えたのは1か所だけ」と言える状態にすると、結果の差を素直に解釈できます。一度に欲張らず1要素ずつ検証すると、学びが積み上がって効果的です。
解説詳細
A/Bテストは1要素を比べる
A/Bテストは、検証したい要素を1つだけ変えた2案を、同質の対象へ同じ条件で配信し、反応を比較する検証手法です。たとえば件名だけを変えるなら、本文・配信時間・送信元・対象リストの性質はそろえます。こうすることで、結果に出た差を「変えた1要素の効果」として解釈できます。対象の分け方は無作為にし、2グループの性質が偏らないようにすることも重要です。
ほかの選択肢が誤りである理由
Aの「複数要素を同時に変える」は、差が出てもどの要素が効いたのか分からなくなり、検証として成立しません。Cの「見込み度の異なるリストに分けて送る」は、対象の性質が違うため、差が案の良し悪しなのか対象の違いなのか区別できません。Dの「先月と今月で比較」は時期や外部環境の違いが混ざり、純粋な比較になりません。よって正解はBです。