王菡子教授团队在跨模态行人重识别领域取得最新进展

近期，信息学院王菡子教授团队在跨模态行人重识领域取得重要进展，相关成果以“Adaptive Middle Modality Alignment Learning for Visible-Infrared Person Re-identification”为题发表在CCF A类、国际顶级期刊International Journal of Computer Vision（IJCV）（DOI:10.1007/s11263-024-02276-4）。

在行人重识别领域中，跨模态行人重识别占据着关键地位。相较于已被深入探究的传统行人重识别任务而言，跨模态行人重识别任务因可见光图像和近红外图像之间模态差异显著而更具难度。这种模态差异源于图像类型分属不同光谱，进而致使照明、纹理和颜色等视觉特征存在本质区别，给跨模态匹配与识别工作带来了阻碍。

本文聚焦于图像层面的跨模态行人重识别数据增强方法研究，提出了一种基于自适应模态增强的方法。该方法可以通过自适应中间模态增强学习的策略，分别从图像层面和特征层面有效地减少跨模态图像之间的模态差异。如图1所示，该方法主要包括以下三个组件：首先，该论文提出了一个自适应中间模态生成器模块，它可以有效地将跨模态图像投影到统一的中间模态图像空间中，自适应地生成中间模态图像，以此从图像层面减少跨模态图像之间的模态差异。其次，该论文提出了一种自适应分布对齐损失，旨在促使跨模态特征的分布与中间模态特征的分布自适应地对齐。通过这种方式，所提方法能够有效地平衡不同模态特征之间的分布差异，进一步提高跨模态行人重识别的性能。此外，该论文还提出了一个中心引导的多样化特征学习损失，它可以有效地从不同的模态中学习丰富的跨模态知识，同时减少跨模态数据之间的模态差异。本文在具有挑战性的三个跨模态行人重识别数据集上进行了大量的实验。实验结果表明，与现有的跨模态行人重识别方法相比，所提出的方法能够获得较好的识别性能（在SYSU-MM01数据集上可以获得77.8%的Rank-1识别精度和74.8%的mAP识别精度）。

图1所提出的方法流程图

IJCV近五年影响因子为14.5。该论文由张玉康博士在王菡子教授、严严教授、卢杨老师共同指导下完成。该研究工作得到了国家科技创新2030“新一代人工智能”重大项目（2022ZD0160402）、国家自然科学基金联合基金重点支持项目和面上项目（U21A20514，62372388，62376233）等的支持。

论文连接：https://doi.org/10.1007/s11263-024-02276-4

标签：方法  特征  行人