データマネジメント試験 科目B|データ活用による意思決定、検証と改善 問7
J 社は、通販サイトの購入画面を新しいデザインに変更するかどうかを決めるために、2 週間のテストを行った。サイトの訪問者を無作為に二つのグループに分け、一方には従来の画面、もう一方には新しい画面を表示した。結果は次のとおりである。
| 訪問者数(人) | 購入者数(人) | |
|---|---|---|
| 従来の画面 | 20,000 | 400 |
| 新しい画面 | 18,000 | 450 |
設問 この結果の解釈として、最も適切なものはどれか。
正解:ウ
解説
訪問者数が異なるグループを比べるときは、人数ではなく割合(購入率)で比較します。無作為に分けた A/B テストでも、差が偶然の範囲かどうかを統計的に確かめてから判断します。
- 購入率
- 従来:400 ÷ 20,000 = 2.0%、新しい画面:450 ÷ 18,000 = 2.5%
- 比較
- 2.5 ÷ 2.0 = 1.25 で、購入率は 25% 高い
- ア 購入者数の差を購入率の差と取り違えています。購入率は 25% 高くなっています。
- イ 訪問者数は無作為に分けた結果で、画面の効果を表すものではありません。
- ウ 正解。
- エ 人数が異なっても、割合で比較すれば判断できます。
もう一歩深く
購入率は、従来の画面が 400 ÷ 20,000 = 2.0%、新しい画面が 450 ÷ 18,000 = 2.5% です。アの“50% 高い”は誤りで、購入者数の差を購入率の差と取り違えています。なお、購入率で比べても、2.5 ÷ 2.0 = 1.25 で 25% 高いことになります。エは誤りで、訪問者数が違っても割合で比べられます。差が偶然の範囲かどうかは、仮説検定で p 値を求めて確かめます。
当サイトのオリジナル問題です。