计算机应用研究

作者：徐磊,胡亚豪,潘志松,

单位：陆军工程大学指挥与控制工程学院,南京210007；

关键词：自然语言处理,词嵌入,预训练模型,大型语言模型,偏见,

基金：国家自然科学基金资助项目(62076251)；；

偏见现象普遍存在于人类社会，并通常以自然语言为载体呈现。传统的偏见研究主要针对静态词嵌入模型展开，但随着自然语言处理技术的不断演进，研究对象逐渐转向上下文处理能力更强的预训练模型。而作为预训练模型的进一步发展，尽管大型语言模型凭借惊人的性能和广阔的发展前景在多个应用场景中得到了广泛部署，但其仍可能会从未经处理的训练数据中捕捉到社会偏见，并将偏见传播到下游任务中。含有偏见的大型语言模型系统会产生不良的社会影响和潜在危害，因此针对大型语言模型的偏见研究亟待深入探讨。探讨了自然语言处理中偏见的由来，并对从词嵌入模型到现在大型语言模型的偏见评估和偏见缓解方法进行了分析与总结，旨在为未来相关研究提供有益参考。

来源：2024年第10期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第10期