计算机应用研究

作者：高小天,张乾,吕凡,胡伏原,

单位：1.苏州科技大学a.电子与信息工程学院;b.苏州市虚拟现实智能交互及应用技术重点实验室;c.苏州市大数据与信息服务重点实验室,江苏苏州215009；2.天津大学智能与计算学部,天津300354；

关键词：多物体场景,遮挡现象,图像伪影,布局图,新视角图像生成,

基金：国家自然科学基金资助项目(61876121)；江苏省重点研发计划项目(BE2017663)；江苏省教育厅高等学校自然科学研究面上项目(19KJB520054)；；

新视角图像生成任务指通过多幅参考图像，生成场景新视角图像。然而多物体场景存在物体间遮挡，物体信息获取不全，导致生成的新视角场景图像存在伪影、错位问题。为解决该问题，提出一种借助场景布局图指导的新视角图像生成网络，并标注了全新的多物体场景数据集（multi-objects novel view synthesis，MONVS）。首先，将场景的多个布局图信息和对应的相机位姿信息输入到布局图预测模块，计算出新视角下的场景布局图信息；然后，利用场景中标注的物体边界框信息构建不同物体的对象集合，借助像素预测模块生成新视角场景下的各个物体信息；最后，将得到的新视角布局图和各个物体信息输入到场景生成器中构建新视角下的场景图像。在MONVS和ShapeNet cars数据集上与最新的几种方法进行了比较，实验数据和可视化结果表明，在多物体场景的新视角图像生成中，所提方法在两个数据集上都有较好的效果表现，有效地解决了生成图像中存在伪影和多物体在场景中位置信息不准确的问题。

来源：2022年第8期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第8期