针对目前红外与可见光视频实际融合需求中常涉及到差异特征信息间的协同融合，且模型无法根据视频间差异信息针对性地调整融合策略，造成融合效果差等问题，中北大学杨风暴教授团队提出了一种基于可能性分布合成理论的红外与可见光视频的拟态融合算法。近日该研究成果以封面文章发表于Chinese Journal of Information Fusion上。

团队首先对双路视频序列每帧中感兴趣区域的各类差异特征及其属性进行定量描述，同时选出每帧对应的主要差异特征，其次基于皮尔逊相关系数度量任意两个特征间的相关性得到特征关联矩阵，然后基于相似测度构造各层变元对不同差异特征的融合有效度分布，利用可能性分布合成理论对差异特征分布进行关联合成。最后，优化选择拟态变元从而实现红外与可见光视频的拟态融合。通过实验对比发现，该方法在保留目标和细节等方面取得了明显的融合效果，并且在主观评价和客观分析上明显优于其他单一融合方法。

研究提出的基于可能性合成理论的双路视频拟态融合方法流程，主要包括红外与可见光视频帧内差异特征及其属性的表征、差异特征关联矩阵的建立、差异特征分布的关联合成、拟态变元的选择与组合等内容。研究针对目前融合模型无法根据视频间差异信息针对性地调整融合策略，且缺乏考虑差异特征信息间的协同等问题，提出了基于可能性分布合成理论的双路视频拟态融合算法，建立了差异特征、融合策略与融合效果间的复杂联系，为有效提升红外与可见光视频的融合质量提供一条新思路。

相关论文信息：https://doi.org/10.62762/CJIF.2024.361886