近日，摩尔线程正式发布《MTT S5000 Prefill-as-a-Service技术白皮书》，基于旗舰级AI训推一体智算卡MTT S5000构建“Prefill As a Service”新范式，面向AI Agent、代码生成、超长文档分析等长上下文推理场景，为行业提供兼顾推理效率、成本控制与算力变现的可落地路径。
背景：长上下文时代，“算力错配”成为推理成本的核心瓶颈
随着大模型输入上下文规模快速迈入数百K到1M 级别，长文本输入带来的算力消耗与首字时延压力持续攀升，正日益成为制约企业推理服务效率与总拥有成本（TCO）的关键瓶颈。传统同构集群的算力部署模式，已难以应对不同计算阶段对硬件资源的差异化需求。
核心痛点在于结构性错配：在大模型在线推理中，输入阶段的Prefill（预填充）属计算密集型任务，受浮点算力约束；输出阶段的Decode（解码）属访存密集型任务，受显存带宽约束。两者在同一物理资源池中混跑，必然导致双向浪费——按Decode带宽选型，则Prefill的大容量显存长期低效；按Prefill算力选型，则Decode计算单元大面积空转。
破局：Prefill-Decode异构解耦，重构推理资源池
《白皮书》指出，突破这一瓶颈的关键在于将Prefill与Decode彻底解耦，使二者各自运行在最契合自身计算特性的硬件资源池上：
- Prefill算力池：专攻高算力利用率与极低首字延迟（TTFT）；
- Decode资源池：专攻高并发与稳定的每Token延迟（ITL）。
通过硬件分层投入，算力配置从“通用冗余”转向“按需匹配”，在满足服务质量（SLO）约束的前提下，实现单位Token基础设施成本大幅下降。
底座：MTT S5000构筑高吞吐Prefill专属算力池
作为一款全功能通用AI加速卡，MTT S5000在硬件特性上与Prefill任务高度契合，展现出出色的工程适配与规模化落地能力：
▼ 高计算密度，压缩首字时延。针对Prefill的计算密集型特征，MTT S5000提供高稠密算力，有效压缩首Token生成时延（TTFT）；在长上下文场景下，以GLM-5.2为例，单机8卡可实现接近十万级Prefill吞吐，为Agent、长文档分析等业务提供确定性的SLO承诺与容量规划能力。
▼ 原生FP8支持，消除格式转换开销。支持FP8至FP64全精度计算，天然适配主流大模型原生精度，Prefill过程不引入额外精度损耗；原生FP8 KV Cache与Decode池保持高度兼容，消除跨节点传输前的格式转换成本，显著降低KV Cache传输时延。
▼ 生态成熟兼容，降低落地门槛。依托MUSA软件生态，全面兼容CUDA及PyTorch、SGLang、vLLM等主流推理框架，企业可基于现有代码资产实现平滑迁移与快速适配。
实测验证：严苛SLO约束下，64K上下文场景单机吞吐可达到5.8 MTokens TPM
《白皮书》基于超大参数模型智谱GLM-5.2-FP8，在90%前缀缓存命中率、首字时延P50 TTFT ≤ 6,000ms的严苛硬性SLO约束下，完成了64K至400K序列的极限压测。（详细测试方案请参见白皮书完整版）
以智谱官网API定价为基准（输入8元/百万Token、缓存命中2元/百万Token，综合单价2.6元/百万Token）进行测算，基于实测性能，在理想状态下的商业价值表现如下：
场景 | 核心指标 | 单机月收入 |
64K极致吞吐 | Prefill吞吐达 95,920 tok/s，TPM达到5.8MTokens | 满负载下64.6万元 |
400K极限长序列 | TPM可以达到2.6MTokens，吞吐平缓可预测、时延不随序列增长失控 | 平稳可控 |
Agent混合场景（ROI测算，参考白皮书） | 等效吞吐TPM 5MTokens | 满负载下56.4万元；常态40%负载下仍达22.6万元 |
在典型Agent混合上下文负载下，单机更具确定性算力变现能力与清晰的投资回收周期。
结语：以“推理效率+商业回报”重构产业竞争逻辑
大模型产业竞争的下半场，本质上是推理效率与商业回报的较量。摩尔线程通过MTT S5000与Prefill-as-a-Service方案，不仅重塑了长上下文推理的性能与成本边界，更帮助企业在万亿参数与Agent时代牢牢掌握TCO主动权。
完整白皮书请参见：《MTT S5000 Prefill-as-a-Service技术白皮书》
https://developer-hscdn.mthreads.com/public/MTT-S5000-Prefill-as-a-Service-%E6%8A%80%E6%9C%AF%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf
关于摩尔线程
摩尔线程以全功能GPU为核心，致力于向全球提供加速计算的基础设施和一站式解决方案，为各行各业的数智化转型提供强大的AI计算支持。
我们的目标是成为具备国际竞争力的GPU领军企业，为融合人工智能和数字孪生的数智世界打造先进的加速计算平台。我们的愿景是为美好世界加速。
来源：摩尔线程
