计算机应用研究

作者：张振峰,李亚男,陈一帆,黄初华,

单位：贵州大学计算机科学与技术学院公共大数据国家重点实验室,贵阳550025；

关键词：逆渲染,光照估计,自监督学习,帧间一致性,交叉渲染,

基金：国家自然科学基金资助项目(62162007)；贵州省自然科学基金资助项目(黔科合基础［2019］1088)；；

针对目前逆渲染监督学习方法难以获得标签、泛化能力差的问题，提出了一种基于IFC（inter-frame coherence）的自监督训练方法。由于逆渲染问题的不适定性，引入额外的反照率一致性损失和交叉渲染损失强化自监督网络，其主要思想是对连续光照变化的图像序列执行IFC约束。即通过图像帧之间的位姿图和深度图，在相邻帧之间执行图像投影和扭曲；通过这种方法在相邻帧之间建立约束，并使用孪生训练来确保对光度不变量的一致估计。该方法使用完全卷积神经网络从室内视频序列中恢复几何形状、反射率和光照。自监督网络使用没有标签的连续帧图像集合进行训练，通过结合可微分渲染器，使网络以自监督的方式进行学习。通过与其他主流方法的比较，定量和定性实验结果表明提出方法在多个基准上表现更优。

来源：2023年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第7期