源2.0-M32

浪潮信息发布 "源2.0-M32" 开源大模型，大幅提升模算效率
5月28日，浪潮信息发布"源2.0-M32"开源大模型。"源2.0-M32"在基于"源2.0"系列大模型已有工作基础上，创新性地提出和采用了"基于注意力机制的门控网络"技术，构建包含32个专家（Expert）的混合专家模型（MoE），并大幅提升了模型算力效率，模型运行时激活参数为37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。