2つの施策案を比較するA/Bテストの原則として最も適切なものはどれか。

A/Bテストは、「変える要素を1つだけにする」×「それ以外の条件を揃えた2群で比べる」ことで、何が効果を生んだのかを切り分ける手法です。同時にあれこれ変えると要因が混ざってしまうので、変更点を1つに絞るのが核心です。

テストを設計するときは、「今回変えるのはどの1要素か」を最初に明記しておきましょう。もし2つ以上変えたくなったら、欲張らずにテスト自体を分けるのが正解です。1回1要素を徹底すると、結果から「何が効いたのか」をはっきり読み取れるようになります。

正解はBです。A/Bテストの原則は、比較したい1要素だけを変え、それ以外の条件はすべて揃えた2つの群（対照群と実験群）で結果を比べることです。Aのように色も文言も配置も同時に変えてしまうと、結果に差が出ても何が効いたのかを切り分けられません。Cのように効果が出そうな方にだけ多くのユーザーを割り当てると、群の条件が偏ってしまい、公平な比較になりません。Dのように同じ集団に先にA、後からBを順番に見せる方法も、時期や慣れといった条件が揃わず、比較が歪んでしまいます。条件を揃え、変える要素を1つに絞ることが原則です。