ドイツ語の臨床文書、LLMに審査させると誤りの1割を見逃す
ドイツ語の臨床文書の評価をLLMに任せられるか、6つのオープンモデルを専門家の判定と突き合わせた論文。
- 退院サマリーや看護記録の要約、患者向け文書など4つのドイツ語データセットで、3つの評価方式と4つのプロンプト設定を比べた
- 専門家の代わりにLLMを使うと、項目別評価の57.2%が変わり、2択の勝者の41.7%が入れ替わり、臨床的な誤りの10.2%を見逃した
- どの設定も方式をまたいで安定せず、全モデルに提示順と出所への偏りがあった。英語以外のデータで検証した点が新しい
編集メモサトシ
AI要約の品質チェックまでAIで回したくなりますが、誤りの1割を見逃すなら人の目はまだ外せませんね。
出典 Cross-paradigm audit of large language model judges for clinical text evaluation.