计算机应用研究

作者：彭晏飞,顾丽睿,李健,张曼婷,

单位：辽宁工程技术大学电子与信息工程学院,辽宁葫芦岛125105；

关键词：图像修复,上下文特征聚合,注意转移,孪生网络,ResNet,

基金：国家自然科学基金资助项目(61772249)；辽宁省高等学校基本科研资助项目(LJKZ0358)；辽宁工程技术大学双一流学科创新团队资助项目(LNTU20TD-27)；；

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题，提出了一种基于上下文特征的渐进式图像修复方法。首先，使用ResNet18网络对破损图像进行粗略填充。然后，将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域；注意转移网络学习缺失区域与剩余背景区域的联系，将其以更高分辨率对缺失区域进行填充，引入CBAM（convolutional block attention module）模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失，将L1损失与结构相似性损失相结合作为网络重建损失，再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验，平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%；与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然，与背景语义高度相符；客观指标上选用四种常用评价指标进行比较，在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2.21%。对改进网络各模块的消融实验结果也验证了所提创新点的有效性，表明该方法优于同类算法。

来源：2023年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第11期