近日，我院几何计算与智能媒体技术研究团队在多模态图像融合领域的研究工作取得新进展，提出了一种基于双层优化的多模态图像融合算法，解决了多模态融合图像中目标不清晰，细节不丰富等问题。现实场景中该成果是团队此前中标项目“多目多维立体视觉感知视觉感知”的延续与深入。

可见光成像具有丰富的对比度、颜色、形状信息，可以准确、迅速地获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像也存在缺陷，如在强光、雾雨、雪天或夜晚，成像质量大大下降，影响匹配的精度。利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，红外成像不受雾雨雪、光照影响的优势可弥补可见光波段成像的不足，从而获取更完整、精确的融合信息。所生成的融合图像在视频监控，目标跟踪等方向都有重要的应用。下图是真实场景中实验图：

为了缓解真实场景中，融合图像存在噪声，伪影等问题，该成果设计一种基于能量的灵活双层优化模型来描述可行性约束，可胜任多种多模态图像融合任务，如红外和可见光、PET/CT医学图像融合等。具体地，通过滤波变换把多模态图像分成细节层和背景层，针对不同层的特点，设计层导向的双层优化模型。在背景层引入去噪网络约束，确保生成光滑的背景层融合图像；在细节层设计图像梯度增强算子约束图像细节信息，确保生成纹理丰富的细节层融合图像。同时，在算法迭代过程中，引入两个网络生成显著特征的权重图，避免了手动调节融合参数，从而最终获得当前最优融合效果。

该成果由刘日升教授，博士生刘晋源、姜智颖，樊鑫教授（通信作者）和罗钟铉教授共同完成，撰写的论文 “A Bilevel Integrated Model with Data-driven Layer Ensemble for Multi-modality Image Fusion”被图像处理领域顶级期刊IEEE Transactions on Image Processing (TIP)（CCF-A，IF=9.37）录用。

相关介绍：

几何计算与智能媒体技术研究团队隶属于皇冠体育·(中国)官方网站皇冠体育·(中国)官方网站，与立命馆大学合作建立健康医疗智能计算联合研究中心。研究课题包括机器学习、深度学习、计算机视觉、多媒体技术、优化方法等当前最前沿的领域，及其在医疗和健康领域中的应用。近年来在IEEE TPAMI、TIP、TNNLS、TMM、NeurIPS、IJCAI、AAAI、CVPR、ECCV、ACM MM等人工智能、多媒体技术等多方领域的重要期刊及会议上发表论文达100余篇。近一年来针对可学习优化的理论及应用研究已发表顶级会议和期刊（包括NeurIPS, AAAI, IJCAI, ACM MM, TIP, TNNLS等）论文30余篇。研究所在科学研究的基础上，还面向国家重大战略需求，如开展全天候车载多波段立体视觉感知单元研发，在重大项目实物竞标中取得第一名；开展水下目标抓取机器人研发，在水下目标自主抓取中取得突破等。

责任编辑：潘树孟