同じ症例でも、モデルと患者の属性で答えが変わる
51本を取り上げました。論文45本、プレスリリース6本です。テーマは意思決定支援10本、画像診断AI9本、記録業務9本と、判断まわりに集まりました。
属性で推奨が動き、モデルによって正答率も割れる
12種類のLLMにめまいの救急症例を判断させ、患者の属性を33種類入れ替えて204万件を解析した研究が出ました。黒人のトランスジェンダー女性という設定では、精神科紹介の推奨が中立条件より12.2ポイント低くなっています。合成症例での机上検証ではありますが、同じ症例文でも属性で答えが動くことが数字で出ました。救急ICUの診断では、専門特化型でも正答率64.1%で、全モデルが70%未満にとどまっています。
12種のLLMにめまい症例の臨床判断をさせ、患者属性による推奨のばらつきを検証したという論文。
- TiTrATEなどの診断基準に基づく合成救急症例100件に33種の患者属性を組み合わせ、12種のLLMに各10回ずつ回答させ204万件を解析した
- 黒人のトランスジェンダー女性という設定では精神科紹介の推奨が中立条件より12.2ポイント低く、ホームレス状態の黒人患者でも9.1ポイント低かった
- 合成症例による机上検証であり、実診療下でのバイアスの大きさやその臨床的影響までは確認していない
出典:J Vestib Res / Sociodemographic bias in LLMs' clinical decision-making for dizziness.
サトシ LLMに医療判断を任せる怖さがここにある。属性で答えが変わるなら、それはブラックボックスだ。使うなら人間が疑う前提で使う。
AIスクライブは、製品ごとに結果が割れた
プライマリケア医163人を1年半追い、5万9130人日分のEHRログでAIスクライブ3製品を比べた研究が出ました。単独型は時間外作業が1日0.007時間減って年30時間ほどの計算になる一方、タブレット型は逆に増えています。どちらも48時間以内の記録完了率は下がりました。スクライブを入れるかどうかではなく、どの形で入れるかで結果が分かれます。
退院サマリの品質はAIが上回った例も出た
スペインの大学病院で、9診療科240件の退院時サマリを総合診療医10人が13項目で採点したところ、AI作成が10点中8.14、医師作成が7.30でした(p<0.0001)。ただしアレルギー・不耐症の項目だけは医師が上で、AIは一般的な記載に流れる傾向が見えています。緑内障の進行予測では、内部検証のAUC0.98が5カ国の外部検証で0.74〜0.86まで落ちました。数字は出す場所を変えると動きます。