作者：电子创新网张国斌
今年3月初，芯原股份发布了一则新闻：集成了芯原神经网络处理器（NPU）IP的人工智能（AI）类芯片已在全球范围内出货超过1亿颗，主要应用于物联网、可穿戴设备、智慧电视、智慧家居、安防监控、服务器、汽车电子、智能手机、平板电脑、智慧医疗等10个市场领域。在过去七年里，芯原在嵌入式AI/NPU领域全球领先，其NPU IP已被72家客户用于上述市场领域的128款AI芯片中。
芯原执行副总裁，业务运营部总经理 汪洋
从出货数字和客户数量看，这是里程碑式的成功！芯原的NPU为何成功？带着这样的疑问，我采访了芯原执行副总裁，业务运营部总经理汪洋，他带着我复盘了芯原NPU走过的路，我则提炼出一个产品创新与生态双轮驱动的成功故事。
产品创新：从单品到平台
2015年，人工智能崭露头角，芯原的某GPU汽车客户提出了一个新要求：要求GPU通过人工智能技术识别车道。不过，初期的尝试并不尽如人意，传统的GPU架构在处理复杂的AI算法时显得力不从心。
现任芯原执行副总裁的汪洋当时亲历这个项目，他回忆说：“对于人工智能开发大家都是新手，我们想是不是可以从其他途径来实现目标？所以我们当时组建了一支既懂图像又懂AI的团队来开发这个需求，这支团队由图像处理和AI算法的专家组成，目标是突破传统GPU的瓶颈，打造更高效的解决方案。几经试验，我们终于开发出了第一款集成了AI技术的NPU产品。”
它就是芯原的第一代NPU IP VIP8000系列。在设计之初，公司就考虑到了后续可能存在的应用场景变化和性能迭代问题，将VIP8000系列设计成了具有高效能架构和可编程的IP，同时兼顾高性能和低功耗的应用场景，支持多种主流神经网络框架，能够满足复杂应用的需求。
公司增加了一个新品，当然不能只卖一家客户，汪洋根据这个产品的特性，首先把这个系列的IP介绍给了安防领域的客户，安防领域的客户都很喜欢，因为它让其产品一跃升级为智能安防产品！当年，这款NPU在安防领域卖爆。
产品从汽车拓展到安防领域，自然地大家都想到：
|如何拓展到更多领域？例如消费电子？工业？医疗？
于是，汪洋带着这个产品去拜访了某个消费电子和工业领域兼顾的客户。
这位客户当时的产品还扎根在平板领域，销售规模增长乏力。
他提出了一个问题：
“你这个NPU能让我的产品实现千万级出货吗？”
汪洋这样回答他：“我这个IP也许不能保证实现单一产品千万级出货，但你看，你的处理器加上我的NPU可以变成平台级产品，在某个应用领域实现智能化，然后你稍微修改算法进行迭代就可以把产品打进一个新的应用领域，至少是百万级出货，这样一年拓展到10个应用领域不就是千万级出货了吗？”
虽然这话像画大饼，但这个客户觉得可以一试。
敢于尝试的结果就是，这家客户现在不但成功上市，还成为了多个领域的人工智能应用领头羊，我想大家能猜到是哪家。
这就是最早的人工智能赋能案例，现在我们已经耳熟能详“人工智能赋能千行百业”，但是这句话的背后是一个个设计案例去实现的。
从0到1难，从1到100相对容易些，汪洋表示在这些成功案例的支持下，芯原也快速布局，把产品在各个领域卡位，按照他的说法是“产品要成功，不但需要下手早，更要不断快速卡位，这样做不是单纯为了做大生意，而是要了解到客户想用AI做什么？我们可以根据反馈迭代技术，这样就形成了生态布局。”
随着芯原NPU客户不断增多，各种各样的新需求也涌现了出来。为了应对这些需求，并顺应人工智能技术的发展，芯原的NPU IP经过研发，逐渐演化为三个各具特色的系列：
VIP9000Pico主打为穿戴设备和物联网设备提供较小芯片面积、低功耗、可编程、可扩展的解决方案。
VIP9000可以提供从 0.5 TOPS 到 20 TOPS的算力，主打为可穿戴和物联网设备、网络摄像机、监控摄像头、智能家居/电器、手机、笔记本电脑、汽车（ADAS、自动驾驶）和边缘服务器等广泛的应用提供人工智能能力。
VIP9400提供多达80TOPS的单核算力，具备可扩展架构实现多核提供更高算力，主打为数据中心和汽车应用提供强大的人工智能算力。
汪洋特别表示，芯原NPU团队都是紧跟人工智能技术的发展，“我在今年初去了趟美国硅谷，跟谷歌、英伟达等公司就人工智能技术进行了交流。我当时问英伟达，你们在GPU上的短板在哪里？他们说是端侧布局，我心中暗喜，端侧的布局对我们芯原而言正是个机会。”他回忆说。
他介绍道，芯原最新推出的VIP9000系列NPU IP提供了可扩展和高性能的处理能力，适用于Transformer和卷积神经网络（CNN）。结合芯原的Acuity工具包，这款强大的IP支持含PyTorch、ONNX和TensorFlow在内的所有主流框架。此外，它还具备4位量化和压缩技术，以解决带宽限制问题，便于在嵌入式设备上部署生成式人工智能（AIGC）和大型语言模型（LLM）算法，如Stable Diffusion和Llama 2。
此外，通过利用芯原的创新FLEXA IP互联技术，VIP9000还能与芯原的图像信号处理器（ISP）及视频编码器无缝集成，实现低延迟的AI-ISP和AI-Video子系统，且无需DDR内存。它还可以针对特定需求进行定制，以平衡成本和灵活性，从而适应对功耗和空间有严格限制的深度嵌入式应用环境。
“这主要是满足客户对功耗、成本上的一些严苛要求。”他表示，“另外，芯原除了NPU，还有GPU、DSP、VPU、ISP、显示处理等IP，能很好地满足人工智能芯片对异构架构的需求。由于芯原的IP都是自主研发，我们可以从原生代码入手，实现NPU IP和其他IP在流水线级的深度融合，从而轻松实现AI GPU、AI ISP、AI Video等不同功能的集成，这种 IP子系统可以对传统技术进行大幅的性能升级。在打造IP子系统时，别人是搭积木式的组合，我们则可以像乐高一样紧扣在一起。而且我们还可以把底层软件开放给客户，支持他们做一些定制化开发。这样就形成了我们整个平台级产品的创新体系。”
生态建设：要从底下长起来
提起生态建设，其实很多业者都知道生态的重要性，但是真要做起来，估计都是一团乱麻无从下手，于是我们就看到，很多国内公司采取了捷径：
|兼容其他公司生态
这个做法的好处是产品可以迅速让开发者用起来，可以快速实现产品上市，但是坏处也很明显：万一人家闭源了咋办？
所以，生态一定要自己建！
“我认为产品生态就是在产品开发和应用落地的过程中，从硬件设计架构、开发工具链、软件解决方案，到用户开发群体形成合力，结合众多的成功案例所构建的一个基于核心技术，为用户提供性能保证、开发便利和产品增值的生态系统。比如小米的‘米家’生态，华为的‘鸿蒙’生态。”汪洋指出，“不过NPU是个独特的产品，打造NPU的产品生态，关键在于软件适用性和工具的通用性，包括软件工具链是否能支持各种操作系统、各种AI框架，是否可以较好的兼容和支持各种类型的应用和产品。硬件方面主要体现在对算子的支持，NPU应用变化快，可扩展的硬件架构设计与时俱进，可以满足人工智能行业应用的迭代更新。”
回顾人工智能的产业化历程，其实最早也是大众最想落地的人工智能项目就是智能家居，毕竟家是一个有爱有温暖的地方，谁都想让它充满智能，不过智能家居因为早期缺乏产业领军者，打开局面举步维艰，始终处于概念阶段或者难有好的体验。
2014年堪称是智能家居发展史的里程碑纪年。2014年1月，Google花费 32 亿美元收购 Nest——一家生产智能温控器的生产商。这让Google 打开了智能家居的大门，也让智能家居行业看到了希望。
当时，谷歌一直在积极为智能家居平台做准备，凭借其开放的Android软件生态，以及庞大的用户群体，它想打造一个智能家居平台系统，创建一个互联、易用和高效的智能家居环境。Google Nest 系列就是它推出的第一个系列平台。谷歌Nest 能够与第三方的设备实现对接，扩展出更多的使用场景。同时，Nest 的工具是完全基于网络的，因此，开发者们很容易起步。
不过，谷歌缺乏有效的硬件支持，这也让芯原看到了希望。于是，在构建自己的NPU生态方面，芯原率先选择与谷歌建立了战略合作关系。“谷歌在智能家居领域进入较早，推出了 Google Nest 系列产品，以及Google Assistant，Google Home 等应用平台。但是谷歌不自己做芯片，其他芯片厂商要进入谷歌智能家居平台，谷歌就推荐用我们芯原的NPU，以此作为对方产品具备加入谷歌智能家居生态的‘资格认证’。”他回忆说，“那些芯片厂就只能向芯原来购买这个NPU IP的授权，为什么呢？因为我们跟谷歌在合作过程中，把它智能家居所需的Firmware固件 (固件--固件是一种嵌入在硬件设备中的软件。固件的主要作用是控制硬件设备，使其能够正确运行，并提供操作系统和应用程序所需的抽象、接口和服务） 都基于芯原的NPU打磨成型了，我们没有破坏他们的业务流程，反而让芯片厂商更方便地进入谷歌的智能家居系统。这也形成了我们NPU早期的生态雏形。”
当然生态系统的构建离不开软件开发工具的支持。汪洋强调，一个健康的生态系统一定是从底层基础扎实地发展起来。他回忆说，“首先我们NPU架构是一个GPU和AI结合的形式，AI是一个硬件计算引擎，还集成了GPU的通用计算模块，然后还有接口支持定制AI的能力，在硬件层面实现一个无缝集成的平台。因为我们有GPU通用计算能力，所以有一整套的软件支持生态，如OpenGL，OpenCL等等，整个生态软件都可以往上去做植入。”他介绍说，“然后我们还打造了一系列工具，以解决AI工程师研发过程中对现有神经网络的平移和在新的神经网络上开发所面临的问题。我们把一套完整的工具都做了，包括前端的GUI到后面的编译器优化。此外，我们还提供大量的驱动程序。在多年的产品迭代过程中，我们的驱动软件积累了众多客户需求。客户期望我们能持续优化，以不断提高软件代码的质量和可靠性。”
另外芯原还帮助客户解决人工智能应用的带宽问题。“大约是2016年的时候，有位客户做了一款安防芯片，这位客户抱怨说AI性能没有完全发挥出来，只有50%左右，他不知道问题在哪里。我们检查后发现是带宽设计问题，就好像一个八缸发动机的车子只供应了三缸的油路。但是芯片已经流片回来了，该怎么办？”汪洋回忆说，“我们觉得既然芯片不能改变，我们就改变我们的驱动来适配他的这套芯片架构，这样可以充分利用它总线的最大资源，去减缓我们NPU对带宽这块的压力，这样NPU的效率就提升起来了。类似这样的案例还有很多，我们100多家客户都有类似的经历，只要有问题，我们就去解决他们的问题。”
汪洋表示在这样的服务过程中，芯原也在不断优化和完善自己的系统，不仅是IP本身，还包括架构设计、整个软件框架和开发工具，以及我们的IP子系统跟客户SoC集成之后所出现的各种千奇古怪的问题，都在不断积累中改进。这么多年积累下来，你会发现，一个生态的护城河已经被建立起来，“所以在这个领域，我们已经有着领先优势了！”
芯原NPU的成功并非偶然，而是技术创新、市场把握、生态建设和团队实力等多方面因素共同作用的结果。每一个成功的背后，都有无数次失败的尝试和不懈的努力。芯原正是凭借其对技术的执着追求，对市场需求的精准把握，以及务实有效的实干精神，逐步在全球NPU芯片市场上占据了一席之地。
注：本文为原创文章，未经作者授权严禁转载或部分摘录切割使用，否则我们将保留侵权追诉的权利
