计算机应用研究

作者：杨晶东,李熠伟,江彪,姜泉,韩曼,宋梦歌,

单位：1.上海理工大学光电信息与计算机工程学院,上海200093；2.中国中医科学院广安门医院,北京100053；

关键词：量表数据分类,类别不均衡,级联欠采样,Transformer,

基金：国家自然科学基金资助项目(81973749)；中国中医科学院科技创新工程项目(CI2021A01503)；；

为解决临床医学量表数据类别不均衡容易对模型产生影响，以及在处理量表数据任务时深度学习框架性能难以媲美传统机器学习方法问题，提出了一种基于级联欠采样的Transformer网络模型（layer by layer Transformer， LLT）。LLT通过级联欠采样方法对多数类数据逐层删减，实现数据类别平衡，降低数据类别不均衡对分类器的影响，并利用注意力机制对输入数据的特征进行相关性评估实现特征选择，细化特征提取能力，改善模型性能。采用类风湿关节炎（RA）数据作为测试样本，实验证明，在不改变样本分布的情况下，提出的级联欠采样方法对少数类别的识别率增加了6.1%，与常用的NEARMISS和ADASYN相比，分别高出1.4%和10.4%；LLT在RA量表数据的准确率和F1-score指标上达到了72.6%和71.5%，AUC值为0.89，mAP值为0.79，性能超过目前RF、XGBoost和GBDT等主流量表数据分类模型。最后对模型过程进行可视化，分析了影响RA的特征，对RA临床诊断具有较好的指导意义。

来源：2023年第10期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第10期