计算机应用研究

作者：林浩然,刘春黔,薛榕融,谢勋伟,雷印杰,

单位：1.四川大学电子信息学院,成都610065；2.中国科学院光电技术研究所中国科学院光束控制重点实验室,成都610209；3.中国电子科技集团公司第十研究所航空电子信息系统技术重点实验室,成都610036；

关键词：指称图像分割,CLIP,小波变换,零样本,

基金：国家自然科学基金资助项目(62276176)；；

为了解决语义分割应用到现实世界的下游任务时无法处理未定义类别的问题，提出了指称图像分割任务。该任务根据自然语言文本的描述找到图像中对应的目标。现有方法大多使用一个跨模态解码器来融合从视觉编码器和语言编码器中独立提取的特征，但是这种方法无法有效利用图像的边缘特征且训练复杂。CLIP（contrastive language-image pre-training）是一个强大的预训练视觉语言跨模态模型，能够有效提取图像与文本特征，因此提出一种在频域融合CLIP编码后的多模态特征方法。首先，使用无监督模型对图像进行粗粒度分割，并提取自然语言文本中的名词用于后续任务；接着利用CLIP的图像编码器与文本编码器分别对图像与文本进行编码；然后使用小波变换分解图像与文本特征，可以充分利用图像的边缘特征与图像内的位置信息在频域进行分解并融合，并在频域分别对图像特征与文本特征进行融合，并将融合后的特征进行反变换；最后将文本特征与图像特征进行逐像素匹配，得到分割结果，并在常用的数据集上进行了测试。实验结果证明，网络在无训练零样本的条件下取得了良好的效果，并且具有较好的鲁棒性与泛化能力。

来源：2024年第5期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第5期