近日，我院科研团队面向国家重大需求，以攻克恶劣环境下的视觉感知为目标，在可见光与红外图像融合、图像恢复等方面取得两项科研成果被IJCAI 2022录用，录用率仅为15%（680/4535）。国际人工智能联合会议（International Joint Conference on Artificial Intelligence，简称IJCAI）是人工智能领域国际顶级学术会议之一，也是CCF推荐A类会议。

我院博士研究生王迪、刘晋源、樊鑫教授与刘日升教授共同完成的论文“Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-ModalityImage Generation and Registration”针对现有多模态图像融合方法在处理未对齐图像对时难以消除由环境干扰带来的空间形变以及融合后产生的边缘重影问题，提出了一种面向红外与可见光图像融合的无监督跨模态“配准-融合”联合框架。该框架以探索如何缩小多源图像间固有的模态差异为出发点，提出了一种无监督的跨模态“生成-配准”范式实现红外形变图像和可见光图像之间的有效对齐，并进一步结合所提出的自适应交互融合策略对配准后的红外和可见光图像进行融合，有效消除了未对齐图像融合产生的结构扭曲与边缘重影并实现了纹理细节信息的增强。该项研究的方法不仅在定量、定性分析中相对现有方法表现出明显优势，而且所提出的跨模态“生成-配准”范式可进一步提升现有红外-可见光图像融合方法在复杂场景中的泛化性能，从而为下游视觉任务提供更可信的融合图像。该论文还被录用为IJCAILong Presentation，≤3%。

代码地址：https://github.com/wdhudiekou/UMF-CMGR

我院硕士研究生朱贵婧、博士研究生马龙、樊鑫教授与刘日升教授共同合作完成的论文“Hierarchical Bilevel Learning with Architecture and Loss Search for Hadamard-based Image Restoration”针对现有基于深度学习的图像恢复技术存在的人工设计经验依赖性强、试错代价高、以及灵活性差等问题，以领域知识驱动的基本神经单元为基础，利用三层优化模型对网络结构、损失函数以及网络参数进行建模，并设计了一种层次化的双层学习范式，能够自动发现最优的网络结构及损失函数形式，用于生成最优的面向特定任务的网络参数。在低光照图像增强、图像去雾、水下图像增强三种任务上的成功应用（PSNR指标提升均为10%以上），验证了提出方法的有效性。

皇冠体育·(中国)官方网站科研团队一直致力于面向国家重大需求，加强关键共性技术研究，已经在开展全天候车载多波段立体视觉感知单元研发、重大项目实物竞标、水下目标抓取机器人研发、水下目标自主抓取等研究方向中取得突破。

相关介绍：

几何计算与智能媒体技术研究团队隶属于皇冠体育·(中国)官方网站皇冠体育·(中国)官方网站，与立命馆大学合作建立健康医疗智能计算联合研究中心。研究课题包括机器学习、深度学习、计算机视觉、多媒体技术、优化方法等当前最前沿的领域，及其在医疗和健康领域中的应用。近年来在IEEE TPAMI、TIP、TNNLS、TMM、NeurIPS、IJCAI、AAAI、CVPR、ECCV、ACM MM等人工智能、多媒体技术等多领域的重要期刊及会议上发表论文达100余篇。近一年来针对可学习优化的理论及应用研究已发表顶级会议和期刊（包括NeurIPS、AAAI、IJCAI、ACM MM、TIP、TNNLS等）论文50余篇。

责任编辑：潘树孟