近日，中国科学院深圳先进技术研究院秦文健博士团队联合南方科技大学第二附属医院（深圳市第三人民医院）罗伟仁博士团队在生物医学和健康信息学国际顶级期刊 IEEE Journal of Biomedical and Health Informatics（IEEE JBHI）上在线发表了题为：Deep Multi-Magnification Similarity Learning for Histopathological Image Classification 论文。

 

该论文工作提出了一种创新性的深度多放大倍率相似性学习方法（Deep Multi-magnification Similarity Learning，DMSL），首次阐释了组织病理图像多放大倍率信息学习在肿瘤诊断中的有效性。

 

 

IEEE JBHI主要聚焦于交叉学科和生物医学与健康应用，是计算机科学和信息系统领域的领衔期刊之一，国际上公认的生物医学和健康信息学领域的TOP学术期刊，在全球27种医学信息学（Medical Informatics）SCI收录期刊中排名第1（TOP1）；中科院Medical Informatics、Computer Science、Interdisciplinary Applications、Computer Science ＆ Information Systems以及Mathematical ＆ Computational Biology小类一区。

 

近年来，随着数字病理成像速度提升和深度学习算法的成熟，通过深度学习算法对数字病理图像自动提取特征，并在量化计算后给出量化评价，该分析过程具有很好的重复性、稳定性、鲁棒性，不仅可以得到客观的诊断结果，还依靠计算机自动化计算，大大提高工作效率，降低医生工作负担。

 

尽管基于深度学习的病理智能计算取得了一定进展。然而，在真实临床应用中，病理学家通常以不同的放大倍率组合信息，即从亚核O（0.1µm）到细胞（≈O（10µm））和细胞间（≈O（100µm）），到其他更大尺度的组织（≈O（1mm））进行诊断，通常多放大倍率图像是指在同一视场内（FOV）具有不同分辨率的图像，而多尺度图像在相同或不同分辨率下具有不同的视场（图1所示），现有的工作基本上是针对是多尺度特征信息融合的学习，尚未见多放大倍率信息的学习方法。因此，如何解决“金字塔”形式存储的多放大倍率信息有效利用依然存在技术挑战。

 

图1：多尺度图像对的示例。(a)、(b)为多放大倍率图像组合（用红色标注）。(a)和(c)是指多尺度图像组合（以黑色标记）。

 

因此，针对不同放大倍率下组织病理学图像信息融合的问题，提出了一种创新性的深度多放大倍率相似性学习方法，该方法不仅有助于多放大倍率学习模型的可解释性，易于可视化低维（如细胞级）到高维（如组织级）的特征表示，克服了跨放大倍率信息传播理解的困难；同时借助于相似性交叉熵损失函数的设计，可以更好学习交叉放大倍率之间信息的相似性。最后通过不同主干网络特征提取和不同放大倍率组合的实验验证了所提出方法的有效性，并进一步通过可视化方式展示其解释能力，分别在鼻咽癌组织病理和公开的乳腺癌数据集上开展实验以验证方法性能，与现有方法对比，其曲线下面积（AUC）、准确度均取得了优异的性能（图2-3）。

 

图2：研究团队提出的多放大倍率病理图像计算方法新框架和结果

 

图3：DMSL方法在鼻咽癌（NPC）数据集上的多放大倍率信息图示

 

论文链接：

https://ieeexplore.ieee.org/document/10018139