小児の胸部X線、汎用LLMは小児科医に届かず
小児の胸部X線写真の読影について、ChatGPTとPerplexityを小児科医・放射線科医と比べたという論文。
- 二次病院1施設で2023年11月〜2024年4月に撮影された小児444人の502枚を対象に、放射線科医3人の合議を基準として比べた横断研究
- 基準との一致は小児科医がPhi 0.80・Kappa 0.69で最も高く、ChatGPTはPhi 0.56・Kappa 0.34、PerplexityはPhi 0.33・Kappa 0.32だった
- 小児科医は感度・特異度・陽性的中率でLLMを上回った。肺炎の症例と新生児では一致が下がり、使ったLLMは医療用に作られたものではない
編集メモサトシ
汎用のチャットAIに画像を貼って聞く使い方は現場でも起きていそうなので、Kappa 0.3台という数字は覚えておきたいです。