信息与电脑杂志

摘要：为解决现有基于对比学习的图像文本跨模态检索方法因正负样本选取不够灵活，导致语义相似数据在公共子空间中距离较远、模型判别性能降低的问题，文章提出如下方法：首先，设计新的评分机制以实现正负样本的灵活选取；其次，利用变分自编码器生成相似性更高的正样本并将其纳入正样本集合，通过对比学习增强模型判别能力；最后，采用软注意力机制学习图像与文本间的细节语义信息。实验结果显示，与9种对比方法相比，该方法在Wikipedia数据集和微软通用目标检测、分割与字幕生成(Microsoft Common Objects in Context, MS-COCO)数据集上的图像检索文本任务、文本检索图像任务平均精度均值(mean Average Precision, mAP)均有明显提升。但研究存在一定局限，即模型规模较大、参数量较多，导致训练过程复杂，在处理大规模数据集时耗费时间较长。综上，此方法可有效增强模型判别性能，并充分关注数据间的细节语义信息，从而显著提升跨模态检索性能。

关键词： 对比学习;跨模态检索;深度学习;语义对齐;

基金资助： 教育数字化转型背景下高职院校数字素养与技能提升模式研究；

专辑： 信息科技

专题： 计算机软件及计算机应用;自动化技术

分类号： TP18;TP391.3