糖尿病是全球上升最快的主要慢性病，可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等，亦与肿瘤感染等密切相关。全球糖尿病患者超5亿人，其中80%生活在中低收入国家。我国现有糖尿病人数居全球之首，糖尿病防治形势更为严峻，尤其在基层和偏远地区缺乏适宜性糖尿病管理技术，基层医生的数量和经验不能满足糖尿病管理的实际需求。糖尿病的患病率不断上升对中国及全球的公共卫生构成重大挑战。

在糖尿病护理领域，糖尿病视网膜病变(Diabetic Retinopathy, DR)的筛查仍然是一个重要的公共卫生挑战。全球有超过5亿人患有糖尿病，其中80%生活在低收入和中等收入国家(LMICs)。这种日益增加的患病率在这些资源有限的地区带来了巨大的公共卫生挑战。LMICs中，医疗资源不足和缺乏经过培训的初级保健医生(Primary Care Physicians, PCPs)是主要障碍，导致糖尿病的普遍漏诊、初级糖尿病管理不善以及不充分或不适当的专科转诊。这不仅影响个人健康结果，还带来了更广泛的社会经济后果。

糖尿病视网膜病变是糖尿病最常见的并发症，影响30-40%的糖尿病患者，是劳动力人群失明的主要原因。DR的存在还预示着其他并发症的高风险，例如肾脏、心脏和大脑。因此，定期进行DR筛查被普遍推荐为初级糖尿病护理的重要组成部分。然而，由于基础设施、人力和可持续的成本效益筛查项目的匮乏，DR筛查在LMICs中常被忽视。

为了应对这些挑战，近年来出现了多种数字技术，包括远程医疗、人工智能(AI)辅助血糖监测与预测、基于眼底图像的深度学习模型以及低成本的便携式眼底相机。然而，这些解决方案通常侧重于增强糖尿病管理或提供DR筛查，但很少结合这两方面的内容。此外，这些技术的使用还需要具备相关技能的PCPs，而在资源有限的环境中，训练有素的PCPs数量较少。

人工智能特别是深度学习在糖尿病及并发症管理领域发挥着越来越重要的作用，如2017年，时任新加坡国家眼科中心医学主任的黄天荫教授及其团队在国际上率先基于深度学习算法在多种族人群上实现了自动诊断中重度DR病例，成果发表于JAMA，成果在智能医疗发展历史上具有里程碑式意义。

2015年来，上海交通大学贾伟平教授牵头多学科团队开展20万人糖尿病眼病筛查项目，2018年，贾伟平教授和李华婷教授团队与上海交通大学电子信息与电气工程学院盛斌教授团队开展医工交叉协同创新，并携手新加坡国家眼科中心等国际顶尖学术机构，在上海市科委和上海交通大学支持下，获批组建上海市代谢相关疾病智慧防控“一带一路”国际联合实验室，致力于在代谢相关疾病智能防治领域开展广泛医工交叉和国际合作。联合实验室自建立以来，分析百万级数据，研制迁移强化的多任务深度学习系统DeepDR，实现对DR从轻度到增殖期病变的全病程自动诊断，并能对眼底图像的质量进行实时反馈以及眼底病变的识别分割, 成果2021年发表于Nature Communications，该技术同时应用于国际糖尿病联盟“全球中低收入国家糖尿病视网膜病变筛查项目”，推广至48个国家（详细见：Nat Commun：贾伟平和盛斌教授开发深度学习系统DeepDR检测糖尿病视网膜病变的疾病谱）。2021年底，黄天荫教授于受聘于清华大学担任讲席教授及医学学科带头人，积极开展人工智能赋能糖尿病及眼病并发症诊疗的转化研究工作。联合实验室与清华大学黄天荫教授团队通过持续性合作研究，成功构建基于Weibull混合分布模型的深度学习系统DeepDR Plus，超越由美国Google团队在该领域此前的领先技术，在全球率先实现对DR进展长达5年的风险预警和进展预测，可在大幅降低筛查频率和公共卫生成本的情况下仍保持极低的漏诊率，成果于2024年1月发表于Nature Medicine（详细见：Nat Med：上海交通大学贾伟平/李华婷/盛斌等合作开发用于预测糖尿病视网膜病变进展时间的深度学习系统）。

然而，过往的人工智能系统研发主要集中在糖尿病的并发症筛查或辅助管理的单一领域。随着全球范围内以ChatGPT为代表的生成式人工智能技术的迅猛发展，多模态大模型正不断推动医疗领域的新应用场景和模式的涌现。然而，这些模型尚不能根据患者的医学影像和具体病情，提供准确且安全的糖尿病综合诊疗建议。鉴于这种现状，如何有效整合糖尿病并发症的精准诊断与糖尿病诊疗意见的自动生成，构建出一个安全可控的多模态智能模型，以支持基层医生提供一站式辅助诊疗服务，已成为国际医疗领域的前沿课题和重大挑战。

上海交通大学电院计算机系/教育部人工智能重点实验室盛斌团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队，携手新加坡国立大学覃宇宗教授团队，通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM，成果于2024年7月19日在Nature Medicine发表（题为Integrated image-based deep learning and language models for primary diabetes care）。DeepDR-LLM系统融合了大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，能提供糖尿病视网膜病变（diabetic retinopathy, DR）辅助诊断结果及个性化糖尿病综合管理意见。该系统自去年研制成功后，在覆盖亚非欧三大区域七个国家的多中心队列中进行了回顾性验证，以及针对中国基层医疗实际开展了前瞻性真实世界验证，首次向全球提供了面向糖尿病医疗垂直领域的多模态大模型应用成效的高质量循证证据。研究证明DeepDR-LLM系统可有效改善DR筛查和基层糖尿病管理水平，为未来全球糖尿病治理提供了革命性的数字解决方案。

Tags： Nat Med：上海交大盛斌等团队研制国际首个糖尿病诊疗多模态大模型DeepDR-LLM