救急ICUの診断で、専門特化型LLMと汎用LLM3種の正答率を比較したという論文。
- EICU患者184例を対象に、初期24時間分と入院全経過の2種類のデータで、集中治療医3名の合議診断と照合するレトロスペクティブ研究
- 最終診断の正答率は専門特化型Qiyuanが64.1%、GPT-5.1が59.2%、DeepSeek V3.1が57.1%、Qwen3-32Bが51.6%だった(P<.001)
- うまくいかなかった点として、全モデルの正答率が70%未満にとどまり、敗血症など疾患別の精度にもばらつきが見られた
出典:J Med Internet Res / Critical Care-Specific vs General-Purpose Large Language Models in Emergency Intensive Care Unit Diagnosis: Single-Center Retrospective Paired Comparative Study.
専門特化しても汎用LLMと大差ない。結局どのモデルも7割に届かないという事実の方が大事だ