计算机应用研究

作者：李蓓蓓,宋威,戴鑫,

单位：江南大学物联网工程学院,江苏无锡214122；

关键词：深度置信网络,分类,无监督学习,尺度变换,平移变换,批量正则化,

基金：国家自然科学基金资助项目(61673193)；中央高校基本科研业务费专项资金资助项目(JUSRP51635B,JUSRP51510)；江苏省自然科学基金资助项目(BK20150159)；；

针对深度置信网络（DBN）在微调过程中易受训练参数影响的问题，提出一种批量正则化DBN分类方法（BNDBN）。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达；然后通过引入尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理，并将处理后的特征输入到非线性变换激活层中；最后使用随机梯度下降法对仿射变换参数以及原始网络的参数进行训练学习。BNDBN方法减少了梯度对参数规模的依赖性，有效地解决了因网络参数变化而造成的激活函数值分布变化的问题，提高了训练效率。为了检验所提出方法的有效性，选取MNIST手写体数据库和USPS手写数字识别库进行测试，通过与Dropout-DBN、DBN、ANN、SVM、KNN进行对比，结果表明提出的方法分类准确率明显提高，具有更强的特征提取能力。

来源：2019年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2019年第4期