
作者:电子创新网张国斌
在第五届RISC-V中国峰会前沿创新技术论坛上,西安交通大学人工智能学院李宝婷教授为带来了主题为《高能效具身智能计算架构与芯片》的精彩报告。在这个报告中,李宝婷深入分析了具身智能计算架构的发展趋势,围绕片上自学习、片上大模型推理等关键技术路径,提出具身智能时代计算芯片的新挑战与解决方案。
一、具身智能:AI发展的终极形态
李教授指出从图灵1950年首次提出“具身智能”概念开始,到CVPR 2024研讨会明确提出智能体需具备感知、语言、听觉、行动与推理等能力,具身智能逐步成为人工智能研究的核心方向。具身智能不仅仅是感知世界,更要求能与环境实时互动、自主学习与决策。这类智能系统将成为未来机器人、智能车、自动化系统的基础能力。
西交大在此领域的研究处于国内前列,在感知-决策-执行链条中的计算架构设计尤为突出。
二、传统架构的困境与新需求
传统AI架构(如CPU/GPU)在具身智能端侧部署中面临如下挑战:
多模态输入(图像、声音、语言等)的融合处理;
自主学习与持续在线训练;
实时推理与高效控制;
能耗与计算效率的矛盾。
特别是在开放环境中进行认知决策时,大模型的知识推理能力提供了新的路径,但也引发了大算力、低效率、高能耗等一系列现实问题。
三、大模型如何助力具身智能?
李教授指出具身智能的核心痛点之一是缺乏常识推理与泛化能力,而大模型,尤其是语言/图文多模态模型,在理解与生成方面展现出前所未有的潜力。未来的具身智能体将不再是纯感知驱动的反应系统,而是具备推理、常识和自主适应能力的“思考型”机器。
四、计算架构创新一:片上自学习芯片
1. 自训练与强化学习两类范式
感知类任务:采用自监督、自训练等范式;
决策类任务:采用深度强化学习等技术。
李教授团队关注的是端侧训练的硬件实现问题。在分析训练流程的计算瓶颈后,提出两大轻量化优化方法:
2. BN反向传播轻量化
传统BN层反向传播过程导致梯度图稀疏性丧失,计算开销大;
提出以最大/最小值替代均值/方差的近似统计策略;
显著提升特征梯度稀疏性、降低计算和访存需求。
3. 卷积核轻量化
她指出基于预训练模型的统计规律,发现权重变化范围有限;采用SVD分解,并将U向量量化为2的n次幂,极大减少乘法操作;最终整体训练计算量降低30%以上,存储访问减少45%。
4. 片上实现成果
面向稀疏计算设计了压缩编码 + 结构稀疏解码的定制电路;芯片面积效率提升2倍以上,能效提升1.8倍。
五、计算架构创新二:大模型推理芯片设计
李教授表示混合深度(MOD)模型面临的挑战是路由决策影响精度,Token乱序导致访存开销高;对此改进思路是重排计算顺序、本地化路由优化。
在芯片级架构创新方面,引入融合归一化与路由的专用模块,增加Token重排序缓冲和动态访存模块;由此实现推理速度提升近3倍,面积效率翻倍,能效提升40%。
六、具身智能的未来:超异构架构+RISC-V指令扩展
面向未来,李教授团队计划基于RISC-V开放架构:为运动规划、定位建图等确定性任务设计专用指令集;构建超异构具身计算系统,实现不同算子间的最优调度;融合传统算法与深度学习,探索“混合AI”系统最优解。
七、结语:从实验室走向机器人
具身智能正在从理论探索走向实际落地,尤其是在服务机器人、自动驾驶、智能制造等领域。李宝婷教授的报告不仅揭示了当前AI芯片设计的技术挑战,更为业界提供了清晰的演进路线图。从自学习到大模型推理,再到超异构的RISC-V扩展架构,一幅全新的智能计算蓝图正在展开。在具身智能浪潮下,中国团队正站在全球AI芯片创新的前沿。