计算机应用研究

作者：刘聪,孔广黔,段迅,吴云,

单位：贵州大学计算机科学与技术学院公共大数据国家重点实验室,贵阳550025；

关键词：深度学习,全参考视频质量评价,时空特征,transformer,

基金：国家自然科学基金资助项目(62266011)；贵州省基础研究计划资助项目(黔科合基础-ZK[2022]一般119)；；

视频失真主要来源于空间和时间失真导致的视频质量退化。针对这两种视频质量退化，提出了一种结合时空特征和视觉感知的全参考视频质量评价方法STPFVQA。首先，使用ResNet50卷积网络从参考视频和失真视频中提取空间感知特征；其次将提取的空间感知特征送入transformer编解码器中，用来构建视频的序列化关系，同时对比参考视频和失真视频，探索失真对视频序列关系造成的影响；然后将transformer的输出送入预测头，形成帧级分数；最后为了模拟人类视觉系统感知的滞后性，从短期、长期和全局记忆效应来综合考虑获得最终的视频质量分数。为了验证方法的可行性，在LIVE、IVC-IC、CSIQ和IVPL四个公开数据集上进行了实验。实验结果表明提出模型更符合人类视觉系统感知情况。在IVC-IC和CSIQ数据集上相比最先进的序列依赖模型（serial dependence modeling，SDM），SROCC评价指标分别高出2.6%和3.1%，KROCC评价指标高出6.1%和7.9%，PLCC评价指标高出2.3%和5.5%。

来源：2023年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第7期