跳转到主要内容

浪潮

浪潮信息刘军:如何用更少GPU更快地完成2457亿参数巨量模型训练?

winniewei /
近年来,BERT、GPT-3等大规模预训练模型取得了巨大成功,引领语言模型进入巨量时代,算力、数据、参数规模快速朝着极致化的方向发展,也为模型训练和部署带来巨大挑战。