计算机应用研究

作者：周柯明,孔广黔,邓周灰,

单位：1.贵州大学a.公共大数据国家重点实验室;b.计算机科学与技术学院;c.数学与统计学院;d.贵安科创超级计算力算法实验室,贵阳550025；2.贵安新区科创产业发展有限公司,贵阳550025；

关键词：生成对抗网络,多尺度融合,注意力机制,彩色化,

基金：国家自然科学基金资助项目(62266011)；贵州省基础研究计划资助项目(黔科合基础-ZK［2022］一般119)；；

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题，提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先，提出以GAN为主体的视频彩色化网络模型，通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块，来获取不同时间频率的信息；其次，为了有效地考虑相邻帧之间的关系，将不同时间频率提取的特征进行融合，加强帧与帧之间的联系，以此增强彩色化的时间一致性；最后，为了获取更多的有效信息，在主网络的上采样部分引入了注意力模块，并通过使用PatchGAN来对结果进行优化训练，以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明，AMVC-GAN在多项指标上排名第一，具有更好的时间一致性和着色效果。相比于其他方法，AMVC-GAN能够有效地减少时间闪烁，同时保证着色效果更为真实、自然。

来源：2024年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第4期