近期，浪潮信息正式推出元脑R1推理服务器，搭载自研NVMe SSD，通过系统创新和软硬协同优化，单机即可部署运行DeepSeek R1 671B模型，帮助客户显著降低DeepSeek R1全参数模型的部署难度及成本，并提升推理服务性能，加速千行百业探索智能涌现。
当前，DeepSeek开源多版本模型，助力各行业加速应用大模型技术推动业务升级转型。其中，DeepSeek R1 671B模型作为全参数基础大模型，相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力，但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求：在FP8精度下至少需要约800GB显存承载，FP16/BF16精度下需要1.4TB以上的显存空间；此外，DeepSeek R1是典型的长思维链模型，具有短输入、长输出的应用特点，推理解码阶段依赖更高的显存带宽和极低的通信延迟。面向671B模型的算力特征和系统需求，元脑R1推理服务器提供领先的显存容量、显存带宽和通信速度，能够助力企业高效完成DeepSeek全参数模型的本地化部署。
元脑R1推理服务器NF5688G7是领先的高算效AI计算平台，原生搭载FP8计算引擎，针对DeepSeek R1 671B模型部署速度快且无精度损失。在显存方面，提供1128GB HBM3e高速显存，满足671B模型 FP8精度下不低于800GB显存容量的需求，单机支持全量模型推理情况下，仍保留充足的KV缓存空间。显存带宽高达4.8TB/s，完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征，在推理解码阶段可实现全力加速。在通信方面，GPU P2P带宽达900GB/s，保障单机部署张量并行最佳通讯性能，基于最新推理框架单机可支持20-30用户并发。在SSD方面，搭载自研NVMe SSD，读写达7400/6200MB/s，可以有效保证高效存储。同时，单台NF5688G7配备3200Gbps无损扩展网络，可根据用户业务需求增长实现敏捷扩展，提供成熟的R1服务器Turnkey解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型（Large Reasoning Model）创新设计的高吞吐推理服务器，业界首次实现单机支持16张标准PCIe双宽卡，提供高达1536GB显存容量，支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric的16卡全互连拓扑，任意两卡P2P通信带宽可达128GB/s，降低通信延迟超60%。通过软硬协同优化，相较传统2机8卡PCIe机型，NF5868G8可将DeepSeek 671B模型推理性能提升近40%，目前已支持多元AI加速卡选配。
元脑R1推理服务器NF5868G8是基于自研部件的整体解决方案，面对DeepSeek的模型规模庞大参数，如DeepSeek-V3总参数达6710亿，如此大规模的参数在模型训练和推理过程中需要实时存储和快速调用，SSD与CPU、GPU等硬件协同工作，减少存储系统对整体性能的瓶颈限制，缩短训练时间。
元脑SSD能够提供足够的存储空间和快速的读写能力，确保参数的高效访问，从而提升模型稳定运行速度。NS6500/6600G2 NVMe SSD集成了3D eTLC NAND 闪存，顺序读写达7400/6200MB/s，帮助整机带宽提升10%以上；可靠性和稳定性方面，平均无故障时间（MTBF）达280万小时，相较业界提升40%，误码率（UBER）10e -18，较同类产品降低90%，特别是智能动态温控技术，可以保障DeepSeek长时间负载不掉速且稳定运行。作为专为企业数据中心、云服务、IoT、AI及机器学习等领域打造的企业级SSD，以业界领先的性能、可靠性、稳定性、安全性全面支撑NF5688G7推理服务器高效、稳健、安全运行。
浪潮信息是全球领先的IT基础设施产品、方案和服务提供商，通过发展新一代以系统为核心的计算架构，打造开放、多元、绿色的元脑智算产品和方案。浪潮信息致力于AI计算平台、资源平台和算法平台的研发创新，并通过元脑生态携手领先伙伴，加速人工智能的创新和应用落地。
稿源：美通社
