データマネジメント試験 科目B|データ活用による意思決定、検証と改善 問14
C 社の D さんは、Web サイトの申込みのボタンの文言を変える A/B テストを行った。変更前の画面(A)の申込率は 3.0%、変更後の画面(B)の申込率は 3.2% で、統計的な検定を行ったところ p 値は 0.30 であった。C 社では、有意水準を 5% としている。
設問 この結果の解釈として、最も適切なものはどれか。
正解:エ
解説
p 値は、“本当は差がない”と仮定したときに、観測された程度以上の差が偶然に生じる確率です。有意水準より大きいときは、差があるとは判断できません。ただし、“差がないことが証明された”わけでもないので、必要に応じてデータを増やして再度検証します。
- ア 見かけの差だけで判断しており、偶然の可能性を考慮していません。
- イ p 値は、B が優れている確率を表すものではありません。
- ウ 有意な差が見られないことは、差がないことの証明にはなりません。
- エ 正解。
もう一歩深く
アは、0.2 ポイントの差が偶然の範囲かどうかを確かめずに判断しています。イは、p 値は“B が優れている確率”ではありません。ウは、有意な差が見られなかったことは、差がないことの証明にはなりません。小さな差を検出するには、多くのデータが必要なので、テストの期間を延ばしてデータを増やすか、効果の大きそうな別の案を試すことを考えます。
当サイトのオリジナル問題です。