计算机应用研究

作者：李文权,齐琦,李霓,刘永娜,

单位：1.海南大学计算机科学与技术学院,海口570228；2.海南师范大学数学与统计学院,海口571158；3.海南大学应用科技学院,海南儋州571737；

关键词：展示广告,实时竞价,出价策略,强化学习,

基金：国家自然科学基金资助项目(11861030)；国家重点研发计划资助项目(2018YFB1404400)；海南省自然科学基金资助项目(2019RC176)；教育部第49批留学回国人员科研启动基金资助项目(2015-311)；；

实时竞价（RTB）是在线展示广告中被广泛采用的广告投放模式，针对由于RTB拍卖环境的高度动态性导致最佳出价策略难以获得的问题，提出了一种基于强化学习（RL）的出价策略优化方法，即采用带惩罚的点概率距离策略优化（POP3D）算法来学习最佳出价策略。在基于POP3D的出价框架中，广告投标过程被建模为情节式的马尔可夫决策过程，每个情节被划分为固定数量的时间步，每个广告展示的出价由它的预估点击率大小和竞标因子共同决定。每个时间步，竞标代理都会根据上一时间步的拍卖情况对竞标因子进行调整，以使得出价策略能够适应高度动态的拍卖环境，竞标代理的目标是学习最佳的竞标因子调整策略。在iPinYou数据集上的实验结果表明，与DRLB算法相比，所提出价算法在预算比例为1/16和1/32时，在点击次数方面均提升了0.2%；当预算比例为1/8、1/16和1/32时，在赢标率方面分别提升了1.8%、1.0%和1.7%；另外，在稳定性方面，所提方法也具有优势。表明了该方法的优越性。

来源：2022年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第2期