首页 > 医疗监管/ 正文
深度解析医学证据，lxfs.net为你支撑决策
人工智能已广泛用于医学影像的病灶检出[1]、疾病分类[2]和预后预测[3]等任务。特别是深度学习的发展，显著提升了影像分析的自动化水平及特征挖掘能力，推动医学影像智能分析由依赖人工设计特征的传统模式转向端到端的数据驱动范式[4]。然而，围绕单一任务构建的专用模型通常依赖高质量人工标注数据，其性能易受训练数据来源、规模和分布特征的限制，在跨任务迁移、多中心泛化和多模态信息整合方面存在不足。
在此背景下，基础模型为医学影像智能分析提供了新的思路[5]。与针对单一任务分别建模的传统范式不同，医学影像基础模型强调在大规模数据上学习可迁移的通用表示，再结合具体任务进行适配，以提高模型在不同任务和场景中的复用能力。这一方向有望缓解医学影像标注成本高、数据异质性强、重复开发较多等问题，推动模型能力由单一预测拓展至多任务处理、多模态协同和更深层次的医学语义理解。
需要指出的是，医学影像基础模型仍处于快速发展阶段，其能力边界和研究范围仍在不断演进。现有研究仍主要基于基准数据集、公开数据集或受控实验条件，尚不能直接等同于真实临床价值。若仅依据模型规模、任务覆盖数量或单项指标提升判断其应用前景，容易放大技术预期，甚至形成将实验室表现视为临床可用性的认识偏差。因此，本文在梳理医学影像基础模型研究进展的基础上，重点关注其从技术潜力走向临床应用过程中面临的关键约束，以期为相关研究与转化提供参考。
1 医学影像基础模型的概念
早期医学影像智能分析主要依赖纹理、形状、灰度统计等人工设计特征，并结合机器学习模型完成病灶识别、疾病分类或风险预测。这类方法在一定程度上推动了人工智能与临床需求的结合，但其特征表达能力有限，且高度依赖图像预处理、病灶分割和特征工程。深度学习的应用使模型能够直接从原始图像中学习分层表征，显著提升了分割、分类和检测等任务的自动化水平，推动医学影像智能分析进入以数据驱动为核心的新阶段。
然而，既往深度学习研究主要围绕特定临床问题构建专用模型。此种模式虽可在明确场景下取得较好效果，但其局限性也较为突出：其一，医学影像标注成本高、高度依赖专业医师经验，导致高质量标注数据难以大规模获取；其二，不同中心、设备、扫描协议和重建参数带来的数据分布差异，限制了模型的外部泛化能力；其三，单任务训练形成的模型通常缺乏可迁移性，不同任务之间难以有效复用，易造成模型的重复开发和应用碎片化。
随着BERT[6]推动自然语言处理进入大规模预训练阶段，以及CLIP[7]、ViT[8]等模型促进视觉与多模态预训练方法的发展，基于大规模无标注或弱标注数据学习通用表征，并通过适配机制服务于多种下游任务的研究范式逐渐形成。医学影像具有数据类型多样、临床语义密集和标注成本高等特点，具备探索基础模型的现实需求与数据基础。
医学影像基础模型指基于较大规模医学影像及相关多源数据进行预训练，并可作为共享底座支持多类下游任务的一类模型。与传统任务专用模型相比，其更强调在预训练阶段学习可迁移的通用表征，再通过线性探测、微调、提示学习、指令微调等方式适配不同任务、模态和应用场景。需要明确的是，医学影像基础模型并不等同于参数规模更大的深度学习模型。若模型仅针对单一疾病和单一任务进行训练，即便参数量较大，仍更接近专用模型，而非严格意义上的基础模型。
现有医学影像基础模型大致沿着影像表征预训练、影像-语言对齐、多源信息融合和动态场景建模等方向发展。其训练数据从无标注影像逐步扩展至影像-报告配对数据、临床文本、结构化临床信息、多组学数据以及动态超声和手术视频等连续数据。相应地，模型能力也由分类、分割、检测等传统任务，扩展至报告生成、图文检索、医学问答和多模态交互等场景。对医学影像基础模型的评价除关注模型规模和任务覆盖外，更应重视其在真实临床场景中的泛化能力、可靠性和可验证增益。
2 医学影像基础模型的关键技术
医学影像基础模型的构建涉及数据组织、模型架构、预训练目标、任务适配和性能评估等多个环节，其常见构建路径见表1。
表1 医学影像基础模型的主要构建路径及技术特点
2.1 预训练数据组织
预训练数据是医学影像基础模型构建的基础，其规模、模态覆盖、来源多样性和组织质量直接影响模型表征的广度与迁移潜力。现有预训练数据主要包括以下三类：
一是大规模影像数据［包括CT、磁共振成像（MRI）、X线、超声和数字病理等］，主要用于学习模态内部的解剖结构、病变形态和图像表征；
二是多源数据（包括影像-报告配对数据、临床文本、检验指标等），可为视觉语言预训练和多模态建模提供弱监督信息；
三是时序数据（包括内镜视频、手术视频和动态超声等），有助于模型学习时空连续表征和流程性信息。
与自然图像不同，医学影像数据具有显著的跨中心异质性，不同设备、采集协议、重建参数和病例分布构成均可能带来域偏移；多模态数据还涉及采集时点、解剖对应关系、语义粒度和记录方式的一致性问题。因此，高质量预训练数据的构建并非多源数据的简单汇总，而需经过数据清洗、质量筛选、去重、配对关系确认和来源控制等过程。
现有研究已从不同角度体现了预训练数据组织的重要性。例如，Lu等[9]为构建计算病理视觉语言基础模型，对公开图文数据进行病理图像筛选、图注拆分、图文匹配及样本来源过滤，最终从约179万对图文样本中筛出约117万对人类病理图文数据用于预训练。Wu等[10]整合多源医学多模态数据，构建包含2D和3D影像的大规模候选数据库，随后筛选出约300万条高质量放射学样本，用于训练放射学基础模型。Jaspers等[11]收集了超过470万帧、覆盖23类手术过程的手术视频数据，并构建视频基础模型数据库，发现除数据量外，数据多样性、术式覆盖和数据组成同样会影响模型的泛化性能。
不同研究对预训练数据规模的表述方式并不一致。研究者可能以患者、检查、序列、图像、切片、图像块、视频帧或图文对作为统计单位，而这些数量之间并不具备直接可比性。尤其是在数字病理与视频数据中，图像块或视频帧的数量可迅速扩大，但由于这些样本往往来源于同一患者、同一切片或同一视频片段，内部具有高度相关性，不能等同于独立病例样本量。影像报告虽为视觉语言预训练提供了重要的弱监督信号，但也可能受到模板化表达、机构书写习惯、漏报信息和流程性偏倚的影响。因此，在描述预训练数据时，不宜仅强调总量，还应重点说明样本统计单位、患者级独立性、跨中心覆盖、去重策略和质量控制方法。上述信息也是解释不同模型性能差异、判断迁移边界和设计后续验证方案的基础。
2.2 模型框架与预训练
医学影像基础模型的框架设计总体上借鉴了通用人工智能领域的大规模预训练思路，并结合医学影像的空间结构、模态属性和临床语义特点进行调整。以Transformer为代表的架构因具有较强的长程依赖建模能力，已成为多种基础模型的重要组成部分。
在文本领域，GPT[12]等仅解码器模型主要面向语言生成与指令响应。在视觉领域，ViT[8]通过将图像划分为图像块并编码为序列，使Transformer能够用于图像表征学习。SAM[13]采用图像编码器、提示编码器和掩码解码器相结合的设计，使模型能够在不同提示条件下快速适配具体分割目标，从而提升通用分割能力。在医学多模态场景中，影像、文本及其他临床信息也可在统一表征空间中实现交互，从而支撑视觉理解、报告生成、分割等更为复杂的任务。
训练流程上，医学影像基础模型通常遵循“预训练-迁移”的技术路线，即先在大规模医学影像及相关配对数据上学习通用表征，再迁移至具体下游任务。其核心在于通过合理的预训练目标学习可迁移的结构先验与临床相关语义。现有预训练策略包括生成式建模和对比式学习，其中，生成式建模侧重于对数据分布及内部结构关系的建模，常见形式包括遮蔽重建、图像恢复、报告生成和跨模态生成等；而对比式学习则主要通过构建正负样本关系，拉近相关样本的表征距离、拉远无关样本的表征距离，从而学习具有较强区分性和跨模态对齐能力的表征。这类方法既可用于单模态影像，也可用于影像-报告配对数据的视觉语言建模。
总体而言，生成式建模更强调结构完整性与语义依赖关系，对比式学习更强调表征的可区分性与跨模态对齐能力。对医学场景而言，预训练策略不宜简单照搬自然图像领域范式，而应结合医学数据的模态属性、空间结构特征及临床语义组织方式，进行针对性设计。近年研究亦发现，融合生成式建模与对比式学习的联合预训练策略，可能更具发展潜力。
2.3 下游任务适配
下游任务适配是医学影像基础模型由通用表征走向具体应用的关键环节，其目的在于将预训练阶段获得的结构表征、语义表征或跨模态对齐能力迁移至特定的临床任务。常见的适配策略包括线性探测、全参数微调、参数高效微调、提示学习和指令微调等。
线性探测通常冻结预训练骨干网络，仅训练线性分类头或浅层任务头，主要用于评估预训练表征的可分性与迁移潜力，也常用于初步验证基础模型质量。
全参数微调则更新模型全部参数，能够更充分地适应目标任务，但对数据规模、计算资源和过拟合控制的要求也更高。
参数高效微调通过仅更新少量附加参数或低秩参数，如适配器（Adapter）[14]、低秩适配（LoRA）[15]等方式，在尽量保留预训练知识的同时降低训练成本。
提示学习则通过设计输入提示、可学习提示向量或区域提示，引导模型关注与目标任务相关的信息，尤其适用于视觉语言模型和交互式分割等场景[16]。指令微调主要用于具备视觉语言交互能力的模型，通过将任务目标组织为指令形式进行进一步训练，从而增强其任务理解、交互和泛化能力。
不同下游任务对适配方式的需求有所不同。对于分类、分型和风险预测等全局判别任务，线性探测或轻量微调可作为初步评估和低标注场景下的优先方案，但仍需关注类别不平衡、校准稳定性和外部验证表现。对于分割、检测和区域定位等密集预测任务，通常还需结合任务特异性解码头、空间分辨率恢复机制或区域提示，并对骨干特征进行适度调整，以适应局部结构识别和边界定位需求。
对于报告生成、医学问答和多模态推理等任务，需在视觉表征基础上进一步结合语言解码器、跨模态交互模块或指令数据，使模型能够处理更复杂的语义表达和交互式输出。需指出的是，预训练获得的通用表征并不会自动转化为所有下游任务的性能提升，其适配效果仍与预训练数据分布、预训练目标、目标任务类型及具体适配策略等因素密切相关。因此，医学影像基础模型的下游适配并非简单迁移应用，而是在保留通用表征能力、强化任务特异性和控制部署成本之间进行权衡。
2.4 模型评估
医学影像基础模型的评估不应局限于单一任务的性能比较，而应综合考察其通用性、迁移能力、稳定性及临床应用潜力。与传统单任务模型相比，基础模型的评估维度更为多元[17]。在任务指标层面，应根据任务类型选择相应指标。
例如，分类任务中的曲线下面积（AUC）、准确率、灵敏度和特异度；分割任务中的Dice系数、交并比（IoU）和Hausdorff距离；检测任务中的平均精度均值（mAP）或召回率；生成任务中的双语评估替补（BLEU）、面向召回的摘要评估替补（ROUGE）、基于共识的图像描述评估（CIDEr）和人工评价等。由于基础模型更强调预训练表征的复用能力，评估还应关注零样本、少样本及跨任务表现，以判断模型在有限标注条件下的迁移潜力。
技术指标仅能反映模型在特定数据集和任务定义下的表现，不能直接等同于临床获益。因此，医学影像基础模型的评估应从三个层面开展：
1 算法性能层面，关注模型在外部验证、时间外验证、亚组分析和输入扰动条件下的表现，并评估其校准度、稳健性和失败模式；
2 临床决策层面，关注模型输出是否准确可靠、依据是否充分、定位是否合理，以及能否提高诊断一致性、减少漏诊误诊、支持风险分层或优化治疗决策，并与医生独立判断及人机协作表现进行比较；
3 流程影响层面，关注报告周转时间、分诊效率、复查率、资源利用和患者结局等实际影响，并通过连续入组队列或前瞻性工作流研究加以验证。
3 医学影像基础模型的应用进展
3.1 单模态医学影像基础模型
单模态医学影像基础模型主要基于单一影像模态的大规模数据进行预训练，从同类影像中学习可复用的结构表征与疾病相关模式，并迁移至分类、分割、检测及预后评估等下游任务。现有研究已在数字病理、X线、CT和MRI等模态中取得一系列进展，展现出一定的跨任务迁移潜力。
在数字病理领域，Xu等[18]基于超过17万张全视野切片和约13亿个图像块进行预训练，构建了基于整张切片的病理基础模型，并在肿瘤分型及多种分子相关任务中取得较好表现，包括泛癌生物标志物预测，肺腺癌和泛癌基因突变预测，以及肿瘤突变负荷预测等。该研究提示，大规模真实世界病理数据与整张切片层面的长程依赖建模有助于提升模型迁移能力。
Wang等[19]在胃癌、食管癌和结直肠癌中构建了基于HE切片的病理基础模型，先在10余万张全视野切片、超过1.3亿个图像块上进行自监督预训练，再将其迁移至疾病特异生存、无病生存及辅助化疗获益预测等任务。结果显示，该模型可在多队列中实现较稳定的风险分层，并在分期基础上进一步提升预后评估能力，为治疗获益判断提供补充信息。
在放射影像方面，Pai等[20]基于11 467个CT病灶进行自监督预训练，构建了病灶级CT基础模型，用于学习与肿瘤表型和临床结局相关的影像表征，该模型在病灶解剖部位分类、肺结节良恶性判断和非小细胞肺癌总生存预测等任务中的表现优于传统监督学习和既有预训练方法，且在训练样本较少时优势更为明显。
Ma等[21]提出面向胸部X线的基础模型，通过整合多个公开数据集中的异质专家标注进行循环预训练，使模型在胸部疾病诊断、少样本学习、长尾分布处理及跨站点泛化等场景中表现出较好的适应性。
Tak等[22]基于48 965例脑MRI进行自监督预训练，并将所得模型迁移至序列分类、脑龄预测、IDH基因突变预测、生存预测和肿瘤分割等多个任务，结果显示其具有较强的迁移能力。
上述研究表明，单模态基础模型在大规模表征学习、少样本适配和多任务迁移方面具有良好的应用基础。
3.2 医学视觉语言模型
医学视觉语言模型是在影像编码与语言建模基础上发展起来的一类重要分支。与早期主要依赖特征拼接的多模态融合方法相比，此类模型更强调在统一语义空间中建立影像内容与医学语言之间的对应关系。影像-报告配对数据在临床中广泛存在，为视觉语言预训练提供了重要的数据基础，使模型能够在影像表征学习的同时纳入医学语义信息，进而支持报告关联、医学问答、区域定位和交互式分析等任务。
Christensen等[23]利用103万个心脏超声视频及对应解释文本进行视觉语言预训练，将超声影像与临床解释映射到联合嵌入空间，使模型在未针对具体任务单独训练的情况下即可完成左心室射血分数估计、肺动脉压预测及器械识别等零样本评估，并进一步实现图像到报告检索、跨时间同一患者识别及临床状态变化检测。
此外，该研究还通过文本提示下的注意区域分析，对模型关注的影像区域进行了初步解释。Gao等[24]提出面向多视图乳腺X线与诊断报告的基础模型，通过由粗到细的图文对齐策略学习报告语义与影像异常区域之间的对应关系，并结合异常感知学习增强模型对可疑区域的关注。结果显示，该模型不仅提高乳腺恶性肿瘤分类的标注效率，还支持零样本分割与定位，提示视觉语言预训练有助于更有效地对齐报告语义与影像局部异常区域。
在病理和医学问答场景中，视觉语言模型也逐步从图文检索扩展至更复杂的医学推理和定位任务。Liu等[25]提出一种视觉语言生存分析框架，将病理视觉语言基础模型用于生存预测任务。该方法利用语言编码的预后相关信息引导多实例特征聚合，并结合适应生存分析特点的提示学习与风险预测设计，使视觉语言模型能够更好地用于病理预后建模，在5个数据集上取得了较好的判别与校准表现。
Chen等[26]的研究则在医学视觉问答基础上支持点、框等视觉提示输入，并输出与回答相关的像素级分割结果，将回答涉及的解剖结构或病变区域在图像中标注出来，从而实现文本理解与区域定位的一体化。总体而言，医学视觉语言模型正推动医学影像分析由单纯视觉识别向影像-语义联合理解及交互式应用方向拓展。
3.3 多模态医学影像基础模型
多模态医学影像基础模型面向临床流程中的多源信息整合，强调影像、临床文本、结构化指标及治疗相关信息之间的协同建模，以支持诊断、治疗推荐和预后评估等复杂任务。与单模态模型相比，多模态模型能够同时利用不同来源的信息，更接近临床决策中的综合判断过程；在技术上，也正由简单的信息拼接转向跨模态对齐、动态融合和任务协同。
Ma等[27]在胸部CT与报告联合预训练的基础上，进一步将人口学信息、实验室检查结果和用药信息纳入统一框架，通过多尺度、多模态自监督学习获得跨模态语义表示，并在疾病诊断、报告生成和处方推荐等任务中验证其效果，显示出联合建模影像、临床检查结果和药物信息的潜力。
Hamamci等[28]基于25 692例胸部CT及相应放射学报告构建了CT-RATE数据集，并提出CT-CLIP与CT-CHAT两种模型。其中，CT-CLIP通过3D CT体数据与报告的对比学习获得可迁移表示，不仅可用于多异常检测，还支持病例检索和报告到影像检索；CT-CHAT则在CT-CLIP视觉编码器基础上，通过多模态投影器将3D CT表征接入大语言模型，并结合超过270万组视觉问答样本进行指令微调，从而实现面向3D胸部CT的问答与报告生成。该研究将体数据表征学习、视觉语言对齐和生成式交互结合在同一框架中，体现了3D放射影像基础模型向多任务和交互式应用扩展的发展趋势。
在鼻咽癌场景中，Wang等[29]提出整合CT、MRI、鼻咽镜图像及文本信息的多模态基础模型，通过分阶段课程式融合策略，依次完成视觉知识学习、粗粒度对齐和细粒度融合。具体而言，模型先通过混合对比掩码自编码器学习多模态视觉信息，再借助视觉指令微调实现与语言模型的粗粒度对齐，最后利用专家混合交叉注意机制实现全局多模态信息的深度融合，在诊断、报告生成、肿瘤分割和预后评估等任务中取得了较好的综合表现。
Chen等[30]则尝试将多个单模态医学大模型与多模态小模型进行协同学习，以应对多模态融合中的表征差异和模态主导问题。该方法一方面通过模态专家混合融合模块，整合来自胸部X线、CT、病理、临床文本、时间序列和表格等六种模态的大模型表征；另一方面，利用对比学习和自适应加权策略协调大模型路径与小模型路径的贡献，最终在死亡预测、住院时长、再入院预测及肾透明细胞癌12个月生存预测等任务中，表现优于多种现有多模态方法和单一模型基线。
3.4 面向视频与动态场景的医学影像基础模型
针对手术视频和动态超声等连续视觉数据，医学影像基础模型不再局限于静态影像中的空间表征学习，而是进一步建模时间维度上的结构变化、器械运动、操作步骤及多视图动态信息，以支持工作流分析、手术导航和综合判读等任务。与静态影像基础模型相比，此类模型更强调时空特征的联合建模，以及对长序列、多片段和多视频信息的整合。
Yuan等[31]利用开放手术教学视频中的讲解音频转录文本，构建视频片段-文本配对数据，并通过两种自动语音识别系统生成互补的文本转写：一种偏重手术术语识别，另一种偏重句子连贯性，并将二者作为同一视频片段的双文本视图进行对比学习。其模型不仅在文本检索、时序活动定位和视频描述等视觉语言任务中表现出较好的迁移能力，还可在零样本条件下用于手术器械、阶段和动作识别，显示出教学视频这一弱监督资源在手术基础模型训练中的潜力。
Tu等[32]提出眼科手术视频基础模型，基于110万段视频片段、覆盖144类眼科手术进行自监督视频预训练，学习显微操作中的时空运动特征，并结合两阶段知识蒸馏实现模型轻量化部署。该模型在手术步骤识别、器械识别、并发症检测、技能评估、场景分割和局部结构定位等多项任务中取得了较好表现。进一步集成至手术显微镜后，还在湿实验猪眼手术中提供实时导航信息并改善术中表现。
在动态超声场景中，Vukadinovic等[33]基于超过1200万段超声视频-报告对，训练多视图、视频化的视觉语言基础模型，并引入视图分类与解剖注意模块，对完整心脏超声检查中的多个视频进行加权整合。该模型在来自5个国际医疗系统的23项心脏结构和功能评估任务上均取得较好表现，优于既往医学基础模型，在部分任务上可达到或超过任务特异性超声模型的性能。
4 发展趋势与挑战
4.1 数据质量
在完成预训练数据组织之后，数据能否支撑临床转化，还取决于其代表性及其与目标应用场景的一致性。与单纯扩大样本量相比，更关键的是数据能否覆盖真实工作流中的设备类型、扫描协议、病例构成和图像质量波动，并建立可靠的影像、文本及多模态对应关系[34]。如果数据主要来自高度筛选的队列，模型可能难以充分覆盖真实临床分布，从而影响外部泛化能力和输出稳定性。
对于多模态基础模型而言，这一问题更加突出，因为模型性能不仅取决于各单一模态的数据质量，还受到不同模态之间对应关系、采集时点和信息完整性的影响。Rui等[35]围绕同一患者、同一检查中自然形成的多模态影像组开展预训练研究，结果提示，稳定的跨模态对应关系有助于提升预训练表征的有效性。
此外，对于3D影像、罕见病和复杂临床场景，高质量数据仍相对不足，不同机构之间的标注标准和病例结构差异也会进一步限制模型的可推广性[36]。合成数据和联邦学习为缓解数据不足、隐私约束和多机构协作困难提供了补充路径。例如，Jiang等[37]基于多机构、多器官、多模态超声数据开展联邦预训练，显示出提升跨机构数据协同利用能力的潜力。未来数据集建设仍应重视连续病例纳入、跨机构验证、患者群体代表性、罕见病覆盖以及非理想图像的合理保留，使数据规模优势能够更可靠地转化为临床场景中的泛化能力和应用稳定性。
4.2 多模态融合
多模态融合是医学影像基础模型能力拓展的重要方向，其关键在于围绕具体临床任务构建稳定、有效且可解释的联合表征[38]。在真实场景中，不同模态对疾病表征的贡献随患者特征、疾病阶段和任务目标的不同而变化，固定融合策略往往难以适应复杂多变的临床需求。
Wu等[39]研究指出，在多模态多任务建模中，不同模态对不同患者和任务的贡献具有动态变化特征，静态融合可能使优势模态占据主导地位，从而削弱其他模态中具有诊断价值的信息。
Zhu等[40]研究表明，多任务干扰不仅存在于主干模型内部，也可能出现在跨模态连接环节，若不同任务共用完全一致的对齐接口，任务相关表征可能在传递过程中被削弱。与此同时，医学影像、文本报告、检验指标和治疗信息往往形成于不同诊疗环节，在采集时点、语义层级和记录方式上并不完全一致，且可能受缺项、延迟录入和流程性噪声的影响。若模型在融合多源信息时不区分信息产生的时间顺序、临床可获得性及决策节点，可能将中心特异性模式、诊疗路径或治疗选择中的相关性误判为疾病表征，从而影响其在跨中心和跨场景条件下的稳定性。
因此，多模态基础模型不应简单追求输入信息的数量增加，而应以具体临床决策节点为依据，明确哪些信息在该环节真实可获得、可信且具有增量价值。例如，急诊分诊、术前评估、疗效预测和随访管理所对应的信息来源、时间窗口和决策后果并不相同，其输入、输出和评价指标也需相应界定。如何在模态缺失、信息异步和任务目标不一致的条件下有效利用互补信息，并减少伪相关和模态冲突带来的干扰，将直接影响多模态医学影像基础模型的实际应用价值。
4.3 临床价值验证与工作流嵌入
常规测试指标往往难以充分反映医学影像基础模型的临床可用性[41]。指标提升并不必然意味着关键征象识别更准确，也不足以说明模型在跨机构、跨设备及输入扰动条件下仍能保持稳定可靠的输出[42]。
Chen等[43]针对医学影像分割基础模型的部署研究表明，真实应用中的挑战不仅来自域偏移，还包括提示框轻微变化导致的性能波动，而依赖参数更新的适配方法又可能面临更新信号有限、灾难性遗忘和计算费用较高等问题。这提示基础模型的落地瓶颈并不仅在于预训练阶段是否学习到充分表征，更在于能否在持续变化的临床环境中保持稳定、可控且可复核的输出。
Zhou等[44]研究表明，基础模型虽具备较强的通用特征提取能力，但在具体医学任务上仍可能不及任务专用模型，且模型规模增大往往伴随部署成本上升。因此，传统专用模型并不会被基础模型简单取代；在任务边界清晰、输入模态稳定、部署资源有限且评价终点明确的场景中，专用模型仍可能具有更直接的优化路径和验证优势。
基础模型能否真正进入临床，取决于其能否嵌入真实工作流，并在适应证明确、输入边界清晰、职责划分合理的前提下，为特定环节提供可验证的实际增益。较为可行的路径并非让模型直接替代医生完成完整诊断，而是在风险分层、辅助分诊、报告草拟、交互式分割、结构化随访和专科化决策支持等环节承担有限、可复核的任务。相应地，模型部署时需与影像存档与通信系统（PACS）、放射信息系统（RIS）、医院信息系统（HIS）等形成稳定接口，并明确输入数据质量控制、输出呈现方式、医生修改记录、失败预警、日志留存和版本追踪的机制。
对于具备生成式或视觉语言交互能力的模型，还应提供必要的不确定性提示、证据区域或相似病例依据，避免以流畅自然语言掩盖证据不足。其应用风险不仅包括性能不足和效率受限，也包括证据不足的推断、区域定位偏差、跨模态推断失配以及模型更新后的性能漂移等问题。因此，对医学影像基础模型应用前景的判断，不能仅依据基准数据集指标、任务覆盖数量或模型规模，而应将性能、效率、安全控制、责任划分和工作流匹配性统筹纳入评价与设计，使其更适合作为可监督、可校正的临床协作工具。
4.4 伦理监管与持续治理
医学影像基础模型的伦理监管问题不应被视为临床部署后的附加环节，而应贯穿数据采集、预训练、微调、验证、上线和持续更新全过程[5,38,41]。
数据层面，大规模预训练涉及跨机构影像、报告和临床信息的整合，需明确数据脱敏、知情授权、二次使用边界、跨区域共享规则及再识别风险控制。对于合成数据、网络图文数据和弱标注报告数据，还应评估其是否引入虚假分布、版权及患者隐私风险。
模型层面，需关注模型在不同年龄、性别、地区和疾病谱人群中的潜在偏倚，以及低资源机构、罕见病和低质量图像场景中的潜在不公平表现。
监管和责任层面，基础模型，尤其是视觉语言与生成式系统，具有输出形式复杂、适配方式多样和版本迭代频繁等特点。上线前应明确模型的适应证、禁用场景、输入质量要求、输出解释边界及人工复核责任；上线后则需建立性能漂移监测、错误事件上报、版本回滚、再验证和审计追踪机制。对于采用持续学习或周期性更新的模型，不能默认更新后性能仍然保持稳定，而应在代表性数据、关键亚组和高风险场景中重新进行验证。
5 小结
医学影像基础模型为医学影像智能分析提供了从专用模型走向通用表征和任务复用的新方向。这一变化有助于降低对高质量标注的依赖、缓解任务割裂问题，并推动多模态信息整合和跨任务迁移。但也应看到，现阶段相关研究的证据层级仍有限：诸多结果主要来自基准数据集、回顾性队列和受控实验环境，尚未充分证实其能够在真实工作流中稳定改善诊断效率、决策质量或患者结局。
未来研究不应仅追求更大规模模型、更多任务覆盖和更高离线指标，而应更加重视前瞻性研究、失败模式分析、临床流程适配、伦理监管和持续治理。医学影像基础模型未来更可行的发展方向应是在通用底座、专科模型和人工复核之间形成可验证、可追责、可迭代的协同机制，使其从技术潜力展示逐步走向具有明确边界和实际增益的临床辅助工具。
参考文献
［1］Wang J, Qiao L, Zhou S C, et al. Weakly supervised lesion detection and diagnosis for breast cancers with partially annotated ultrasound images［J］. IEEE Trans Med Imaging, 2024, 43(7): 2509-2521.
［2］Li J, Xu S N, Wang Y, et al. Spectral CT-based nomogram for preoperative prediction of perineural invasion in locally advanced gastric cancer: a prospective study［J］. Eur Radiol, 2023, 33(7): 5172-5183.
［3］Chen X, Fang M J, Dong D, et al. Development and validation of a MRI-based radiomics prognostic classifier in patients with primary glioblastoma multiforme［J］. Acad Radiol, 2019, 26(10): 1292-1300.
［4］Xu Y W, Khan T M, Song Y, et al. Edge deep learning in computer vision and medical diagnostics: a comprehensive survey［J］. Artif Intell Rev, 2025, 58(3): 93.
［5］Santos R, Debuc D C, Somfai G M. Cautious optimism on foundation models in medical imaging balancing privacy and innovation［J］. NPJ Digit Med, 2026, 9(1): 215.
［6］Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding［DB/OL］. (2019-05-24)［2026-03-26］. https://doi.org/10.48550/arXiv.1810.04805.
［7］Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision［C］//Proceedings of the 38th International Conference on Machine Learning. New York: PMLR, 2021: 8748-8763.
［8］Dehghani M, Djolonga J, Mustafa B, et al. Scaling vision transformers to 22 billion parameters［C］//Proceedings of the 40th International Conference on Machine Learning. New York: PMLR, 2023: 7480-7512.
［9］Lu M Y, Chen B W, Williamson D F K, et al. A visual-language foundation model for computational pathology［J］. Nat Med, 2024, 30(3): 863-874.
［10］Wu C Y, Zhang X M, Zhang Y, et al. Towards generalist foundation model for radiology by leveraging web-scale 2D&3D medical data［J］. Nat Commun, 2025, 16(1): 7866.
［11］Jaspers T J M, De Jong R L P D, Li Y P, et al. Scaling up self-supervised learning for improved surgical foundation models［J］. Med Image Anal, 2026, 108: 103873.
［12］Brown T B, Mann B, Ryder N, et al. Language models are few-shot learners［C］//Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2020: 1877-1901.
［13］Kirillov A, Mintun E, Ravi N, et al. Segment anything［C］//2023 IEEE/CVF International Conference on Computer Vision (ICCV). Los Alamitos, CA: IEEE Computer Society, 2023: 3992-4003.
［14］Houlsby N, Giurgiu A, Jastrzebski S, et al. Parameter-efficient transfer learning for NLP［C］//Proceedings of the 36th International Conference on Machine Learning. New York: PMLR, 2019: 2790-2799.
［15］Hu E J, Shen Y L, Wallis P, et al. LoRA: low-rank adaptation of large language models［DB/OL］. (2021-10-16)［2026-03-26］. https://doi.org/10.48550/arXiv.2106.09685.
［16］Wang J Q, Shi E Z, Yu S G, et al. Prompt engineering for healthcare: methodologies and applications［J］. Meta Radiol, 2026, 4(1): 100190.
［17］Fang M J, Wang Z P, Pan S T, et al. Large models in medical imaging: advances and prospects［J］. Chin Med J (Engl), 2025, 138(14): 1647-1664.
［18］Xu H W, Usuyama N, Bagga J, et al. A whole-slide foundation model for digital pathology from real-world data［J］. Nature, 2024, 630(8015): 181-188.
［19］Wang X Y, Jiang Y M, Yang S, et al. Foundation model for predicting prognosis and adjuvant therapy benefit from digital pathology in GI cancers［J］. J Clin Oncol, 2025, 43(32): 3468-3481.
［20］Pai S, Bontempi D, Hadzic I, et al. Foundation model for cancer imaging biomarkers［J］. Nat Mach Intell, 2024, 6(3): 354-367.
［21］Ma D A, Pang J X, Gotway M B, et al. A fully open AI foundation model applied to chest radiography［J］. Nature, 2025, 643(8071): 488-498.
［22］Tak D, Garomsa B A, Zapaishchykova A, et al. A generalizable foundation model for analysis of human brain MRI［J］. Nat Neurosci, 2026, 29(4): 945-956.
［23］Christensen M, Vukadinovic M, Yuan N, et al. Vision-language foundation model for echocardiogram interpretation［J］. Nat Med, 2024, 30(5): 1481-1488.
［24］Gao Y, Zhou H Y, Wang X, et al. Visualizing radiologic connections: an explainable coarse-to-fine foundation model with multiview mammograms and associated reports［J］. Radiol Artif Intell, 2026, 8(1): e240646.
［25］Liu P, Ji L P, Gou J X, et al. Interpretable vision-language survival analysis with ordinal inductive bias for computational pathology［DB/OL］. (2025-02-11)［2026-03-26］. https://doi.org/10.48550/arXiv.2409.09369.
［26］Chen Y Y, Xu D X, Huang Y, et al. MIMO: a medical vision language model with visual referring multimodal input and pixel grounding multimodal output［C］//2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Los Alamitos, CA: IEEE Computer Society, 2025: 24732-24741.
［27］Ma L D, Liang H R, He Y W, et al. A vision-language pretrained transformer for versatile clinical respiratory disease applications［J］. Nat Biomed Eng, 2025: 1-19［2026-03-26］. https://www.nature.com/articles/s41551-025-01544-z.
［28］Hamamci I E, Er S, Wang C Y, et al. Generalist foundation models from a multimodal dataset for 3D computed tomography［J/OL］. Nat Biomed Eng, 2026: 1-19［2026-03-26］. https://www.nature.com/articles/s41551-025-01599-y.
［29］Wang Z P, Fang M J, Tang L L, et al. HiCur-NPC: hierarchical feature fusion curriculum learning for multi-modal foundation model in nasopharyngeal carcinoma［J］. IEEE Trans Med Imaging, 2025, 44(10): 3997-4009.
［30］Chen W Y, Zhao Z H, Yao J C, et al. Multi-modal medical diagnosis via large-small model collaboration［C］//2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Los Alamitos, CA: IEEE Computer Society, 2025: 30763-30773.
［31］Yuan K, Srivastav V, Yu T, et al. Learning multi-modal representations by watching hundreds of surgical video lectures［J］. Med Image Anal, 2025, 105: 103644.
［32］Tu P X, Zheng C, Xie X L, et al. An ophthalmic video foundation model for surgical recognition and navigation with wet-lab porcine eye validation［J/OL］. Nat Biomed Eng, 2026: 1-12［2026-03-26］. https://www.nature.com/articles/s41551-026-01622-w.
［33］Vukadinovic M, Chiu I M, Tang X, et al. Comprehensive echocardiogram evaluation with view primed vision language AI［J］. Nature, 2026, 650(8103): 970-977.
［34］Jiao L C, Yang J Y, Li R Y, et al. Foundation model for medical imaging: a comprehensive review［J］. IEEE Trans Artif Intell, 2026, 7(5): 2426-2446.
［35］Rui S H, Chen L Z, Tang Z Y, et al. Multi-modal vision pre-training for medical image analysis［C］//2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Los Alamitos, CA: IEEE Computer Society, 2025: 5164-5174.
［36］Wu J, Wang Y L, Zhong Z S, et al. Vision-language foundation model for 3D medical imaging［J］. NPJ Artif Intell, 2025, 1(1): 17.
［37］Jiang Y C, Feng C M, Ren J K, et al. From pretraining to privacy: federated ultrasound foundation model with self-supervised learning［J］. NPJ Digit Med, 2025, 8(1): 714.
［38］Tavakoli N, Shakeri Z, Gowda V, et al. Generative AI and foundation models in radiology: applications, opportunities, and potential challenges［J］. Radiology, 2025, 317(2): e242961.
［39］Wu C W, Shuai Z T, Tang Z X, et al. Dynamic modeling of patients, modalities and tasks via multi-modal multi-task mixture of experts［C/OL］//The 13th International Conference on Learning Representations, 2025: 1-15［2026-03-26］. https://openreview.net/forum?id=NJxCpMt0sf.
［40］Zhu X, Hu Y, Mo F B, et al. Uni-Med: a unified medical generalist foundation model for multi-task learning via connector-MoE［C］//Proceedings of the 38th International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2024: 81225-81256.
［41］Paschali M, Chen Z H, Blankemeier L, et al. Foundation models in radiology: what, how, why, and why not［J］. Radiology, 2025, 314(2): e240597.
［42］Fu J, Fang M J, Wu L, et al. Development, advancement, and clinical integration of artificial intelligence technology in gastric cancer［J］. Chin Med J (Engl), 2025, 138(24): 3332-3350.
［43］Chen K C, Luo X Y, Qin T X, et al. Test-time adaptation for foundation medical segmentation model without parametric updates［DB/OL］. (2025-07-15)［2026-03-26］. https://doi.org/10.48550/arXiv.2504.02008.
［44］Zhou Y H, Li H L, Du S Y, et al. Low-rank knowledge decomposition for medical foundation models［C］//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Los Alamitos, CA: IEEE Computer Society, 2024: 11611-11620.
小提示：本篇资讯仅在梅斯医学APP中开放阅读，请扫描二维码直接下载APP
