データマネジメント試験 科目B|データ活用の向上 問7
G 社の総務部は、社内規程の文書を検索して回答を生成する RAG(Retrieval-Augmented Generation)の仕組みを使った生成 AI の問合せサービスを運用している。最近、出張旅費の規程について、半年前に改定される前の古い金額で回答する事例が複数報告された。調べると、検索の対象となる文書の保管場所に、改定前と改定後の規程の文書が両方とも置かれたままになっていた。
設問 この問題への対策として、最も適切なものはどれか。
正解:ウ
解説
RAG(Retrieval-Augmented Generation)では、検索の対象となる文書の内容が回答の正しさを左右します。古い版の文書が残っていると、モデルの性能に関係なく誤った回答が生成されます。文書の版を管理して検索の対象を最新の状態に保ち、参照した文書を示して利用者が確かめられるようにすることが根本的な対策です。
- ア 原因は検索の対象の文書にあるので、モデルを新しくしても古い文書を参照すれば同じ誤りが起こります。
- イ 原因を取り除いていないうえ、利用者の負担が増え、サービスを導入した意味が薄れます。
- ウ 正解。
- エ 出張旅費以外の規程でも同じ問題が起こり得るので、根本的な対策になりません。
もう一歩深く
アは、モデルを新しくしても、検索で古い規程が取り出されれば、古い金額で回答します。イは、問題を利用者の確認に押し付けていて、根本的な解決になりません。エは、サービスの価値を下げるだけです。RAG の検索対象は、データマネジメントの対象そのもので、文書のライフサイクル(作成、改定、廃止)を管理し、施行日や版のメタデータを付けておくことが大切です。
当サイトのオリジナル問題です。