信息与电脑杂志

摘要：文章围绕深度学习与多模态医学影像融合在心脑血管疾病诊断中的应用展开综述。首先介绍了卷积神经网络(Convolutional Neural Network, CNN)与Transformer模型在图像特征提取中的基本原理，阐明了二者分别在捕捉局部细节和建模全局关联信息方面的优势。接着梳理了多模态影像融合技术，如逻辑滤波、多分辨金字塔及小波变换等。随后重点综述了几种典型网络架构：基于Transformer的自编码融合模型、双分支特征增强融合网络、引入坐标注意力的改进方案及平均绝对误差(Mean Absolute Error, MAE)预训练的Swin Transformer融合方法。最后总结了各方案在融合质量、计算开销与数据需求方面的利弊，展望了结合MAE预处理与3D CNN建模的未来发展方向，以期为心脑血管医学影像诊断系统的设计提供参考。

关键词： 深度学习;多模态;医学影像融合;

专辑： 信息科技;医药卫生科技

专题： 临床医学;生物医学工程;计算机软件及计算机应用;自动化技术

分类号： TP391.41;TP18;R445