计算机应用研究

作者：王志强,朱文喆,闫超美,李永坤,

单位：中国科学技术大学a.计算机科学与技术学院;b.安徽省高性能计算重点实验室,合肥230027；

关键词：大语言模型,容错训练,检查点技术,增量检查点,

基金：国家自然科学基金面上项目(62472392)；；

大语言模型训练过程会频繁产生各种软硬件故障，造成训练延长和资源浪费。检查点技术作为关键容错机制在保障训练持续性方面发挥重要作用，但传统的全量检查点方法限制了检查点频率并消耗大量存储资源。为此，提出了一种重要性感知增量检查点方法（SIC）。该方法设计了分层感知的参数更新过滤算法，有效识别每层网络的重要参数更新；此外，通过动态阈值调节机制，在训练过程中实时调节参数变化阈值，确保不丢失关键更新；最后，从理论上证明了SIC对训练收敛性的影响可控。实验表明，单次迭代保存2%的数据足以保证模型的精度和收敛性；相比于最先进的全量检查点方法，在相同开销约束下SIC检查点频率提升了9~17倍，存储开销仅为3%。因此，SIC兼具了高执行效率、低存储开销的优势。

来源：2025年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第11期