データマネジメント試験 科目B|データ活用による意思決定、検証と改善 問26
C 社の D さんは、過去の顧客データから解約しそうな顧客を予測する機械学習のモデルを作成した。モデルの学習に使ったデータで予測の正解率を確かめると 99% であったので、D さんはすぐに業務で使い始めることを提案した。しかし、上司の E さんは、学習に使っていない新しいデータで確かめるよう指示した。新しいデータで確かめた正解率は 70% であった。
設問 この結果の解釈として、最も適切なものはどれか。
正解:イ
解説
機械学習のモデルの性能は、学習に使っていないデータ(テストデータ)で評価する必要があります。学習に使ったデータだけで性能が高いのは、そのデータの細かい特徴まで覚え込んだ過学習の可能性があり、実際の業務での性能は低くなります。
- ア 学習に使ったデータでの正解率は、未知のデータに対する性能を表しません。
- イ 正解。
- ウ 新しいデータに誤りがある根拠はありません。性能の差は過学習で説明できます。
- エ 性能は未知のデータでの結果で評価すべきで、二つの値を平均しても意味がありません。
もう一歩深く
アは、学習に使ったデータでの性能だけを見ていて、過学習に気付けていません。ウは、新しいデータに誤りがあるという根拠はありません。エは、二つの正解率を平均しても、意味のある評価になりません。過学習を防ぐには、データを学習用と検証用に分けて評価する、モデルを単純にする、学習データを増やす、などの方法があります。
当サイトのオリジナル問題です。