【原创】联发科发力,人工智能大普及时代来了!

winniewei 提交于 周五, 02/09/2018
【原创】联发科发力,人工智能大普及时代来了!

作者:张国斌

被业被誉为“IC设计教父”的联发科董事长长蔡明介有个著名的S曲线战略,就是联发科总会选择在一个新技术普及爆发的前夜进入市场,享受技术大爆发带来的红利,这个战略屡试不爽,从DVD芯片到功能机方案到3G、4G手机平台,联发科在享受一次次技术红利的同时不断壮大,近日,联发科公布了人工智能战略,虽然比其他家晚点但是灵活性和效率更高,依据联发科过往的成功经验看,这意味着人工智能大普及时代就要来临了!盆友们,准备好了吗?

一、兼得灵活性和效率的异构架构

2017年是人工智能元年,多家公司推出了瞄准终端应用的人工智能平台,华为,苹果推出的方案中有独立的神经网络处理器单元,对人工智能做辅助处理,而高通的骁龙845则没有独立的神经网络处理单元采用DSP完成人工智能处理,瑞芯微则用优化的DSP做人工智能处理,业界在对待端侧人工智能处理方面也分化为两个阵营,一个认为用平台中的DSP处理人工智能算法已经足够,一个认为要用独立的神经网络单元做人工智能加速,现在,联发科的策略公布,它采用独立的神经网络单元做人工智能加速,看来,独立加速方案是未来主流,我看联发科方案的灵活性更高。

1

联发科技 CTO 办公室协理林宗瑶在联发科AI策略沟通会上表示联发科的人工智能平台NeuroPilot 采用的是异构架构,最底层的处理器有CPU,GPU和APU,APU--是人工智能处理单元的缩写,“CPU 负责控制功能, GPU 负责运算,APU 对整个 AI 运算做特殊加速,从灵活性来看,CPU 灵活性好什么都能做,但效率最差,而 APU可以对AI优化做到效率最高,实际上,我们考虑一些AI 功能都可以放在 CPU、GPU、APU 上,根据工作特质,系统自动分配到APU、CPU、GPU上。如果操作运算量高,而且需要浮点运算,我们就把它放 GPU上。如果它需要定点运算,且需要长时间运算,需要低功耗就放到 APU上。如果是一个多控制运算,就把它放到CPU上。我们会根据它下下一个指令与下下一个工作的分配,确定放到 CPU、GPU 还是 APU上,这跟CorePilot 的大小核分派类似。”他详细介绍了底层处理单元的功能,“APU是人工智能处理单元,它不是一个固定架构的处理器,可以是DSP 也可以是硬件加速单元,例如针对语音识别可以放置2个DSP ,针对其他应用可以放置几个加速单元,它的架构根据需求而定,因此灵活性很高。”

林宗瑶继续解释说这个NeuroPilot平台最上面是应用端,包括脸部识别、美化、人脸辨识、手势检测等等功能。有些功 能 是 在 APP 商店上可以下载下来的应用,有的是 Pre-built 应用。因为有些应用需要跟软件深度结合,例如手机人脸解锁以及手机人脸支付,这就是 pre- built 应用,因为它需要跟软件整合来避免一些安全性问题。“联发科的NeuroPilot平台既可以支持 APP store 里的应用,也可以支持 pre-built 应用。 要支持这样的应用,需要做一些架构上的优化和设计。”他表示。

NeuroPilot 支持目前很多常用的AI framework,例如谷歌的tensorflow、 Facebook 的 caffe1/2、像亚马逊的 MXNet、Sony的NNabla等等,这样可以让合作伙伴开发属于自己的算法和应用。“例如国内的商汤科技、旷世科技等等,他们一方面希望可以定制化,另一方面也希望可以复制到其他平台,所以联发科开发了一个叫Runtime的中间层,把一些比较常用的AI 应用运算概念装在里面。再提供一些定制化的接口给合作伙伴。“他强调。“这样做的好处是,第一 、合作伙伴希望可以定制化的AI指令不希望别人知道, 第二,他们定制化的AI指令能更有效的运行,所以他们希望直接从上面对接到最底层。”Runtime其实是针对深度优化的合作伙伴,可以同时兼顾到垂直应用和定制化。

“联发科的产品覆盖面很广,从手机到电视到穿戴、物联网很多领域,所以我们的人工智能平台考虑的要覆盖很广的领域,”林宗瑶说,“所以我们不是一个固定的平台架构,你可能看到有针对智能音箱的,APU可能采用DSP ,有针对穿戴的,APU又采用了其他处理架构。”

开发工具包考虑了兼容性

对于人工智能开发者来说,平台架构很重要,但是开发工具包更重要,工具包要有很好的兼容性和完整性,便于开发者进行移植和使用,联发科的NeuroPilot 的工具包就考虑这因素。

2

“我们的工具包是一个跨操作系统的通用架构,因为这要考虑到联发科产品覆盖很多领域,我们的工具包从系统层级到中间的 Runtime 层再到底层的加速器级都有覆盖(这加速器包括 CPU、GPU、APU)。NeuroPilot是一个跨平台、跨产品线的架构,所以在不同的操作系统上(Android,Linux等等…)AI应用开发者看到的NeuroPilot架构是一样的,当然这个架构会只会在最底层做一些差异化。也就是说,今天我们在Android平台的开发一个AI应用,它可以直接搬到Linux上做运行,可以大幅度减少开发商工作,开发一次就可以在很多平台用。”林宗瑶特别指出。

通过系统级debug 的profiler,AI开发者可以比较把任务派给CPU,GPU和APU的运行情况--电压是多少?频率是多少?各种情况怎么样等。并能看出这个 AI 到底有没有放到错误地方去了?如果一个 AI 应用, 本来是派给 CPU 的,结果系统派给 GPU 了,这样就会有问题。

3

第二层 Runtime 中间层,开发者可以观察到运行细节信息,例如感觉有些运算单元花的时间 比较多,到底这个花时间多是下达指令错误还是因为在 CPU 上面运行时间比久(因为存储器不给力)。最后 CPU 效率低是什么原因造成的?合作伙伴就可以很容易的去做一些 debug 的开发工作。

4

第三层加速器层级,工具包可以发现处理器在完成AI任务时候的性能瓶颈,如下图示例。

5

通过工具包,开发者可以轻松完成开发。

终端AI是未来应用主流

林宗瑶表示联发科一直关注人工智能技术的发展,基本上从 2012 年深度学习开始到 2016 年、2017 年,人工智能应用还是在云端开发。但是考虑快速响应、隐私保护、连接成本以及功耗四个因素,联发科技认为在端侧AI有很大机会。

6

他认为从云端发展到终端AI有四大提升:

1)端侧响应快,图像识别,图像变化,车载系统都需要快速响应,发送云端然后返回结果显然不会有好的响应。“像最近很红的亚马逊 echo,它的响应就慢,要解决这个问题,就要把云端计算放到终端来。”他解释说。

2)隐私。很多人不想放到云端去,因为放到云端去基本上就没有个人隐私。而在 Edge 这边隐私性会更好

3)连接。连接包括连接的成本和连接有效性。显然任何材料都传至云端成本很高,而且很多地区宽带有限,而Edge  AI 的体验会更好。

4)功率。现在整个云端功耗已经占整个地球电力的 5%,所以如果AI在终端实现则可以降低整体能耗。

基于这四点,他认为Edge  AI 将为主流。

他强调Edge AI 其实就是 AI anywhere 或 AI everywhere,需要产品布局够广,才能造成很大的影响力。另外因为有这么多产品线,所以除了传统的 Android 之外,还需要考虑到 Linux 或其他的 RTOS, 这样应用广度才会高。

“AI 好比一个人的大脑,一个人既需要大脑,还需要眼睛,需要嘴巴传递信息。你的眼睛就相 当于 camera IC 的功能。你的资料需要跟其他 edge 沟通,需要跟云端沟通,那么就需要各种无线技术,而因为资料量很大因此需要编解码技术。” 他解释说,“基于这些考虑形成了联发科的NeuroPilot 平台。”

他指出目前全球 IC 设计公司中,唯一能够同时拥有智能手机、数字电视、AP Router、VAD、物联网设备、 车载电子的就是联发科一家,“其他有些公司可能 AI 不错,但 缺乏互补性技术。有些是有互补性技术可是 AI 比较差,有些有核心技术和互补性技术,但产品线布局不够广。”他结合联发科的优势来解释平台,“以下图来看,AI 核心搭配互补性技术,就可以构成一个 AI 平台。有 AI 平台之后,在考虑移植哪些产品上,那就要看 可以应用到什么样的产品上面去,比如智能手机、数字电视、AP Router、VAD、物联网设备、 车载等等。所以联发科技的 AI 策略就是从基本的 AI engine 做起,然后搭配其传统强项 - ISP, 连接和WiFi 等技术, 再应用到联发科的产品线上面。”

7

提供的是平台不是turnkey方案

“联发科不做人工智能的先行者,我们做AI的普及者。我们要做的就是把AI技术普及到更多领域、更多产品上。”林宗瑶指出,“联发科技在AI 的策略跟过去不一样,过去提供turn key方案,现在我们的 AI 是一个平台的策略 ,而且这个平台是个开放的平台,我们会开放给所有合作伙伴 ,包括一些非专业用户都可以来我们平台做开发。” 

他特别指出联发科技 AI平台有三个优势

1)能够同时拥有很多技术,同时又可以应用这么多产品线的,放眼全球就联发科技一家公司。因AI 的平台除了提供最基本 AI 功能之外,还搭配一些技术,一起去支持这些产品线。而在开发上只需一次变化,就可以同时分散到很多产品线,因此可以把AI的应用扩散到很多领域。

2)开放性更高,NeuroPilot 平台同时支持支持高中低阶 API,所以可以兼顾到客户可移植性和客制化的需求。

3)异构运算优势--有自己的 APU,系统还可以根据不同的 CPU、APU、GPU 架构选出最适合进行处理。

“我们的架构支持安卓、Linux 和其他的操作系统通用架构。我们的产品线则从电视到语音助手设备、智能手机到发展平板,甚至是汽 车 电 子 , 我们都会用一样的架构。合作伙伴一次编程就可以处处部署,可以大幅度减少合作伙伴的开发时程。”他指出,“以上就是我们在 AI 这边的策略、想法跟布局,未来AI应用会非常火爆。”

林宗瑶透露联发科第一款采用这样架构的AI芯片将在2018世界移动通信大会(MWC2018)上亮相,另外,今年还会有针对其他领域的AI芯片推出,敬请期待。

联发科全面发力人工智能,我看人工智能大普及时代真的来了!(end)

注:本文为原创文章,转载请注明作者及来源

相关文章