EN
2022年03月24日研究成果

面向预训练模型的全流程高效计算框架CPM-2

刘知远团队

       为突破PLM的高计算成本、高设备需求、难应用适配等瓶颈问题,清华大学副教授、智源青年科学家刘知远等提出了面向PLM的全流程高效计算框架CPM-2,涵盖模型高效编码、高效架构、高效训练、高效推断、高效微调等关键技术。在此框架基础上,构建了以中文为核心的超大规模PLM模型CPM-2,该模型具有1980亿参数,训练文本数据规模达到50TB,覆盖多语言、兼顾语言理解和语言生成的功能,在包括识记、阅读、分类等7大能力上整体超越现有模型。



图片 1.png

图. CPM-2高效计算框架(图片来源:学者提供)

分享到: