过去几年，AI芯片行业有一条非常清晰的竞争逻辑：模型越来越大，参数越来越多，算力需求越来越高，于是芯片也不断增加计算单元、扩大内存带宽、堆叠更多加速卡，再通过更大的集群把计算能力推上去。

这条路线当然有效。

但对国产AI芯片而言，问题也越来越现实：如果继续沿着“更多晶体管、更大内存、更高带宽、更大集群”的路线走，究竟还能走多远？制程、先进封装、HBM、功耗以及供应链，都在给这条路线增加成本。

这也是墨芯人工智能正在押注“稀疏计算”的背景。

墨芯人工智能市场部副总裁郭威俊

在第六届集成电路设计创新会议暨应用展（ICDIA 2026）媒体群访环节，墨芯人工智能市场部副总裁郭威俊在采访中表示，墨芯人工智能从2018年开始持续投入稀疏计算，并将其作为公司长期的核心技术路线。与市场上把稀疏理解成模型剪枝、参数压缩不同，墨芯对稀疏的定义更大：它不是一个单独的算法，而是一套从模型、算子、编译器、调度到芯片架构的生产工具。

这句话其实点出了墨芯这条路线最值得关注的地方。

它真正想做的，并不是让GPU再“瘦身”一点，而是尝试改变AI计算本身的方式——少算一些没有必要算的东西，把有限的晶体管、内存和功耗用在真正有价值的计算上。

今天的AI计算，尤其是大模型计算，很大程度建立在“暴力计算”的基础上。模型参数越多，计算量越大；上下文越长，需要处理的数据越多；用户越多，需要的吞吐量越高。因此，GPU成为大模型时代最核心的计算基础设施。

但这里面存在一个容易被忽略的问题：模型中的所有参数，真的都需要在每一次计算中被激活吗？答案显然是否定的。

郭威俊表示，以当前的大模型架构来看，大量参数并不会在每一个任务中同时发挥作用。特别是进入MoE以及各种稀疏化架构以后，模型已经开始尝试让不同输入只激活一部分专家或者参数。

这背后其实是一个非常朴素的逻辑：如果一次任务只需要调用其中一部分能力，那么为什么还要把所有参数都算一遍？过去，这个问题更多停留在算法和模型层。墨芯想做的是进一步往下走。

郭威俊在采访中反复强调，墨芯所理解的稀疏，并不是简单地在模型层面做剪枝。真正的稀疏计算，需要从芯片设计阶段就开始考虑。

也就是说，模型知道哪些计算可以跳过，编译器知道如何把这些计算重新组织起来，硬件知道哪些数据不需要搬运，计算单元知道哪些乘加操作可以直接省掉，调度系统再把剩下的任务重新排列。

这时候，“稀疏”才真正从一个算法概念变成了计算系统的一部分。这也是墨芯与传统GPU路线最大的不同之一。

如果把稀疏简单理解成“把不重要的参数删掉”，那么它和模型压缩、剪枝甚至蒸馏之间确实很容易混淆。但墨芯显然不是这么理解的。

郭威俊明确表示，墨芯的技术路线并不是把模型做完之后，再临时剪掉一些参数，也不是通过蒸馏把一个大模型压缩成小模型，更不是存算一体。墨芯真正做的是结构化的软硬件协同。

其芯片内部设计了专门面向稀疏计算的SPU区域，用于处理稀疏相关的计算任务。同时，在芯片层面配合计算单元、数据驱动机制、编译器以及调度系统，让原本无法规避的部分冗余计算和数据搬运直接被跳过。

这就带来了一个很重要的变化。传统GPU的核心优势，是把大量规则化的矩阵计算做到极致。而稀疏计算面对的问题恰恰不同：计算任务不再完全规则。哪些数据需要算？哪些数据可以跳过？什么时候跳过？跳过之后的数据怎么重新组织？不同计算任务之间如何调度？

这些问题如果单纯交给软件处理，效率可能很难达到预期；如果全部交给硬件，又容易失去灵活性。

因此，墨芯实际上是在做一个新的平衡：让软件决定“算什么”，让硬件尽可能高效地完成“怎么不算”。这也是为什么郭威俊把稀疏称为“一套生产工具”。因为它涉及的已经不是一个算子或者一项算法，而是一整套生产体系。

SPU只是一个计算单元，真正难的是“怎么调度”。从芯片架构来看，墨芯的一个重要设计是SPU。但如果只把SPU理解成“专门做稀疏计算的加速单元”，其实还不够。真正复杂的地方在于，SPU并不是孤立工作的。在墨芯的架构里，计算单元、内存、编译器和调度系统需要共同工作。

例如，一段传统计算可能需要完整执行大量乘加操作，然后把结果写回内存，再进行下一阶段计算。如果其中大量计算本身就是无效的，那么最理想的状态不是“算完以后把无效结果扔掉”，而是从一开始就不要算，也不要搬运这些数据。

这对硬件架构提出了新的要求。墨芯希望通过SPU以及相关的调度机制，把这种“跳过”变成硬件能够真正执行的动作。这也解释了为什么稀疏计算并没有像一些模型优化方法一样迅速普及。

因为它涉及的工程量很大。

郭威俊坦言，公司在新一代产品的架构选择上，进行了长时间验证。Prefill阶段偏重算力，Decode阶段偏重带宽与显存，如何在硬件设计上平衡这两种截然不同的资源需求？怎样在有限制程下找到一个平衡点？

这些都不是一个算法能够解决的问题。尤其对于国产AI芯片而言，问题更加复杂。晶体管面积有限，内存带宽有限，先进制程有限，HBM供应也存在现实约束。在这种情况下，继续单纯堆计算单元，并不一定能够带来同比例的系统性能提升。这恰恰给稀疏计算留下了空间。

这是理解墨芯路线的关键。目前国内AI芯片公司，大多数仍然是在训练和推理两个方向上追求更高的计算性能，通过更大的芯片、更高的算力以及更大的集群规模，与国际主流产品竞争。

郭威俊表示，墨芯选择的切入点有所不同。它更关注的是大量并不需要超大规模暴力计算的场景。比如安防、工业视觉以及各种垂直行业模型。这些应用有一个共同特点：

它们当然需要AI计算，但未必需要几百张甚至几千张高端GPU。以墨芯目前参与的一些安防项目为例，客户此前可能使用大量GPU进行人脸识别等计算任务。但随着模型和应用需求变化，墨芯尝试用规模更小的稀疏计算卡完成类似工作。

据郭威俊介绍，在部分项目中，墨芯通过软硬件适配后，可以用一百多张卡实现过去三四百张卡的整体计算效果。它真正体现出的价值是，当任务本身存在大量冗余计算时，继续增加GPU数量未必是最优解。如果能够从计算源头减少无效计算，那么芯片数量、功耗、机房空间以及整体TCO都有可能下降。

对于企业客户而言，这些往往比一张卡的理论算力更重要。从小模型，到大模型：稀疏真正的机会在哪里？实际上，稀疏并不是一个今天才出现的概念。在过去的小模型、视觉模型以及各种垂直模型中，稀疏化已经有比较多的实践。墨芯早期的S40、S10等产品，也更多面向小参数模型和行业垂直模型。

例如蛋白质、图像识别等领域，本身就具有比较明显的专业性。这类场景往往不需要一个覆盖所有知识的大模型，一个专门解决某个问题的模型，可能就已经足够。模型越垂直，计算资源越容易出现浪费，这也正是稀疏计算比较容易体现价值的地方。但真正让墨芯看到更大机会的，是大模型。因为大模型正在出现一个新的变化：模型规模越来越大，但并不意味着每一次推理都需要调用全部参数。

MoE就是一个非常典型的例子。一个模型可能拥有数千亿甚至更大的参数规模，但单次推理只激活其中一部分专家。这意味着模型本身已经在向“稀疏计算”靠近。接下来真正的问题就变成：硬件能不能理解模型的这种稀疏性？如果模型是稀疏的，而硬件仍然按照传统密集计算方式执行，那么模型层节省下来的计算量，很可能无法完全转化为芯片层面的性能收益。因此，墨芯希望把稀疏进一步推进到硬件。这也是其SPU、编译器以及软件栈存在的意义。

但真正把它做出来并不容易。因为GPU生态经过多年发展，CUDA、编译器、算子、框架以及各种开发工具已经形成了非常成熟的体系。而稀疏计算要求整个软件栈重新理解计算。墨芯目前已经建立自己的编译器和软件工具链，同时针对主流模型进行适配。

对于标准Transformer模型而言，公司希望尽量做到低成本迁移，模型本身不需要大幅修改，更多工作放在编译、算子优化以及后端验证上。但一旦涉及大量定制算子，迁移难度就会明显增加。这也是国产AI芯片目前共同面对的问题。

硬件做出来只是第一步，真正决定商业化速度的，是软件能不能跟上。而稀疏计算比传统AI加速更复杂，因为它不仅要解决“算得快”，还要解决“哪些东西不算”。这对编译器、算子和调度系统提出了更高要求。因此，墨芯目前并不是单纯卖一张卡。

对于一些规模较大的客户，公司需要从模型适配、算子优化、软件调度一直做到集群部署。郭威俊提到，随着第二代产品推进，未来可能出现一机四卡、一机八卡、128卡集群乃至超节点等不同形态。到了这个阶段，真正的竞争就已经从芯片本身扩展到整个系统。墨芯真正押注的，可能是“稀疏训练”。

如果说今天的稀疏计算主要解决的是推理成本，那么墨芯更大的野心，其实在训练。

这也是这次采访中一个非常值得关注的信息。目前，大多数稀疏计算更多发生在模型计算阶段。而墨芯希望把稀疏进一步向前推进：在模型训练阶段，就让模型具备稀疏计算能力。

这意味着什么？假设未来一个基础模型在训练阶段就引入稀疏机制，学会根据输入动态激活最相关的专家、跳过冗余计算，那么模型最终形成之后，就天然更加适合稀疏硬件。届时，模型和芯片之间的关系就会发生变化。过去是：模型做好以后，再寻找合适的芯片。未来可能变成：模型从训练开始，就按照某种硬件友好的计算方式设计。

如果这条路真正跑通，意义会比单纯做一张稀疏推理卡大得多。因为它可能形成一个新的产业闭环：模型架构 → 稀疏训练 → 编译器 → 稀疏算子 → SPU → 集群调度。

目前墨芯正在尝试通过与清华、西交大等高校合作，在数学和稀疏训练层面继续向前推进。为什么合作对象会出现数学系？因为到了这一层，问题已经不只是芯片设计。

如何在矩阵层面实现更高效的稀疏计算，本质上涉及应用数学、矩阵计算以及算法本身。这可能也是墨芯未来真正需要突破的地方。

郭威俊的回答是“当然有”，但他表示不能把这件事情理解成“墨芯要用稀疏挑战英伟达”。事实上，英伟达早就开始探索稀疏计算。从A系列产品开始，结构化稀疏已经进入其GPU体系。

但英伟达的路径与墨芯并不完全相同。目前产业中真正大规模验证过的硬件稀疏方案，仍然主要集中在比较规则的结构化稀疏。

而墨芯希望进一步推进到动静态稀疏、半结构化稀疏以及更加深度的软硬件协同。至于哪一种最终会成为主流，现在还没有答案。郭威俊也非常坦诚地承认，全世界目前都还没有一家公司能够给出稀疏计算最终硬件架构的“标准答案”。

这反而意味着，稀疏计算仍然处于一个技术路线竞争阶段。Google在探索非结构化稀疏，国外一些公司甚至尝试从晶圆级架构切入。英伟达则已经证明了结构化稀疏具备产业化价值。

而墨芯选择的是另一条路线。这条路能不能成功，最终还是要回到产品性能、成本、生态和客户规模上。

站在产业角度看，墨芯这条路线的价值，或许并不在于稀疏计算一定会成为下一代AI芯片的唯一答案。更重要的是，它提供了一种不同的思路。过去几年，国产AI芯片经常被放到一个非常直接的比较框架里：算力多少？显存多大？带宽多少？和某一代GPU相比性能怎么样？

但随着AI模型进入更复杂的阶段，单纯比较峰值算力越来越难以解释真实的系统效率。尤其是在国产供应链条件下，先进制程、HBM和高端互联都存在约束。这个时候，如何减少无效计算，本身就是一种算力。

从这个意义上说，稀疏计算的真正价值，不是把一张GPU变得更快，而是重新定义“什么计算值得被执行”。这也是墨芯从2018年持续押注到今天的原因。

当然，风险同样存在。稀疏计算需要模型、软件和硬件形成高度协同，生态建设难度远高于单纯推出一款通用GPU。客户迁移也需要时间。而且未来GPU、XPU甚至其他AI加速架构都可能加入稀疏能力。如果稀疏最终成为所有AI芯片都会采用的通用技术，那么墨芯的差异化就必须进一步从“支持稀疏”走向“把稀疏做到足够高效”。

这才是真正的考验。

郭威俊表示墨芯预计新一代SP200产品将在今年年底至明年第一季度逐步进入批量市场，公司希望将其打造为面向推理、支持动静态稀疏的加速产品，并进一步进入国内推理市场的竞争。

最终市场会给出答案。

但至少从现在来看，墨芯押注的并不是一个简单的“稀疏算力”概念。它实际上押注的是另一种AI计算范式：当模型越来越大、算力越来越贵之后，下一阶段的竞争，也许不再只是“谁能算更多”，而是谁能更准确地知道——哪些东西根本不需要算。

对于国产AI芯片而言，这或许是一条值得认真观察的路。