像 OpenAI 的ChatGPT这类大型语言模型（LLMs）自 2022 年受到广泛关注以来，极大地改变了文本生成方式。基于 Transformer 架构，并通过对海量（通常未公开数量）的文本进行训练，大型语言模型（LLMs）无需大量示例（即少样本学习与提示，或零样本学习与提示）就能生成可信的文本输出。大型语言模型（LLMs）已经在医疗场景中进行了广泛测试，包括将自由文本的放射学报告转换为标准化报告模板，以及对肺癌自由文本的计算机断层扫描（CT）报告进行数据挖掘等。其在以放射学委员会考试风格的文本问题回答中所展现出的内在 “知识” 也得到了证实，并且最近还显示出大型语言模型（LLMs）有助于简化放射学报告。

近期，具备视觉功能的 GPT-4（即 GPT-4V，由 OpenAI 推出）问世，它能够处理图像输入。像这样的大型视觉-语言模型可能会使我们更接近基础模型，可用于各种各样不同的任务。

一项定性评估报告指出，GPT-4V 在依据单张医学图像生成放射学报告方面表现出有前景的性能，但也凸显了该模型目前存在的局限性。“红队” 专家（即负责测试系统漏洞的专业人员）也报告了其在解读放射学图像时存在不一致的情况。然而，这类广泛可用的模型不可避免地会被误用于非预期的应用场景，绕过安全防护措施。鉴于其涉及的潜力和风险，对这些模型进行全面分析至关重要，但关于 GPT-4V 的经同行评审的文献仍然匮乏。在对超声图像分析的定性研究中以及将 GPT-4V 与无视觉能力的大型语言模型（LLMs）在医学病例挑战中进行对比时，有报告称其表现出良好性能。但也有其他作者认为该模型不适合用于医学图像解读，例如，有报告称该模型的表现不如商业胸部 X 光片解读软件。大多数作者仅纳入了数量有限的公开可用图像，且未设置阴性对照，这限制了对模型性能的评估。而且，公开数据可能已被包含在 GPT-4V 的训练中，这可能会使其结果偏向更好的表现。其他相关研究工作尚未经过同行评审，也存在类似的局限性。目前仍缺乏在未见过的数据上对 GPT-4V 和人类读者的表现进行定量比较分析。

最近，发表在Radiology 上的一篇文章通过数据定量评估了 GPT-4V 在解读放射学图像方面的性能。

本项回顾性研究纳入了来自神经放射学、心胸放射学以及肌肉骨骼放射学（计算机断层扫描（CT）、磁共振成像（MRI）、X 线摄影）中具有代表性的单个异常图像和健康对照图像，于 2024年2月至3月期间通过应用程序编程接口利用GPT-4V生成报告。使用准确率、敏感度和特异度来评估自由文本报告的事实正确性以及在二分类任务中检测异常的性能。将二分类任务的性能与一名正在接受培训的一年级非放射科医生以及四名获得委员会认证的放射科医生进行对比。

共纳入 470 名患者的 515 张图像（中位年龄为 61 岁 [四分位距为 44 - 71 岁]；男性 267 名），其中 345 张图像为异常图像。GPT-4V 对图像相关信息的识别情况：GPT-4V 能在 100%（515 张中的 515 张）的图像中正确识别成像方式，在 99.2%（515 张中的 511 张）的图像中正确识别解剖区域。在自由文本报告中，诊断准确率在气胸（计算机断层扫描（CT）和 X 线摄影）方面为 0%（33 张图像中的 0 张）到脑肿瘤（磁共振成像（MRI））方面的 90%（50 张图像中的 45 张）之间。在二分类任务中，GPT-4V 的敏感度在缺血性卒中方面为 56%（25 张图像中的 14 张）到脑出血方面的 100%（25 张图像中的 25 张）之间，特异度在脑出血方面为 8%（25 张图像中的 2 张）到气胸方面的 52%（25 张图像中的 13 张）之间，而人类读者在所有任务中的汇总敏感度为 97.2%（1135 张图像中的 1103 张），汇总特异度为 97.2%（1115 张图像中的 1084 张）。该模型明显存在过度诊断异常的倾向，在自由文本报告和二分类任务中的假阳性率分别为 86.5%（170 张图像中的 147 张）和 67.7%（223 张图像中的 151 张）。 

表 二值分类任务的性能

本项研究表明，GPT-4V 的初始版本能够识别医学图像内容，并可靠地从单张图像中确定成像方式和解剖区域。然而，在图像解读方面，GPT-4V 未能有效地检测、分类或排除异常情况。

原文出处：

Quirin D Strotzer,Felix Nieberle,Laura S Kupke,et al.Toward Foundation Models in Radiology? Quantitative Assessment of GPT-4V's Multimodal and Multianatomic Region Capabilities.DOI:10.1148/radiol.240955

Tags： Radiology：GPT-4V的多模态和多解剖区域能力在放射学领域的应用