vivo 双芯 x 影像技术沟通会——技术白皮书

sxhFrYY3f3.png

目录

旗舰平台联合研发  深层次、全方位探索,将天玑  9200  实力发挥到极致                          

  • 天玑 9200:MediaTek 新一代旗舰平台

  • vivo x MediaTek 多领域深度合作,联合研发

     ◆ MCQ 多循环队列:多核场景,高速传输

     ◆ 王者荣耀自适应画质模式:提升续航,控制升温

     ◆ 芯片护眼:实时侦测,实时降蓝光

     ◆ APU 框架融合:能效骤增,优化协同

     ◆ AI 机场模式:飞行节能,落地速连

  • 多场景联合调校

     ◆ 游戏场景:稳帧降耗,冷劲全速

     ◆ 影像场景:优化性能,有效降耗

自研芯片 V2   重塑芯片结构,影像性能双爆发                    

  • FIT 双芯互联技术:软硬结合,高速协同

  • 近存 DLA+片上 SRAM:优化 AI 部署,释放平台潜力

     ◆ 近存 DLA(深度学习加速器):提升算力密度,优化视频能力

     ◆ 片上 SRAM(高速低耗缓存单元):扩大等效内存,提升运算速度

  • 全新 AI-ISP 架构:双芯算力互补,提升影像性能

     ◆ 双芯 AI-ISP 架构:灵活多变,专用专注

影像   自研影像算法,拓展全场景专业成像        

  • 长焦:长焦能力,质的飞跃

     ◆ 超清画质引擎:图像处理流程 AI 化,突破镜头工艺上限

     ◆ Ultra Zoom EIS 技术:软硬协同,稳稳运镜

  • 运动抓拍:按下快门,定格美好瞬间

     ◆ “零延时”抓拍:迅速成片,所见即所得

     ◆ 运动检测算法:捕捉运动主体,抓住精彩瞬间

  • 暗光抓拍:多算法叠加,全链路优化

     ◆ Sensor 感光能力:ISO 升至 10W

     ◆ 运动自适应多帧融合+自研 RawEnhance 2.0:多帧融合叠加,暗光抓拍无拖影

  • 精彩回溯:瞬秒保存,自动优选

双轨研发塑造 vivo 底气,极致产品回应用户期待

旗舰平台联合研发  深层次、全方位探索,将天玑  9200  实力发挥到极致                          

  • 天玑 9200:MediaTek 新一代旗舰平台

天玑 9200 是 MediaTek 发布的全新一代旗舰 5G 移动平台,在多个技术领域取得了更进一步的突破,拥有更卓越的高性能、高能效、低功耗表现。

5FRyreYhks.jpeg

WWph7fkmem.jpeg

在 CPU 方面,天玑 9200 旗舰平台采用先进的 1+3+4 三簇旗舰架构,首发 ARM Cortex-X3 超大核,单核性能提升 10%以上,同时大幅优化大核 A715 与小核的能效,在视频、音乐、游戏等用户高频使用的场景下,带来更顺畅的体验。

aExT6f3dtQ.jpeg

WrexGNBDBQ.jpeg

在 GPU 方面,天玑 9200 旗舰平台首发搭载 ARM Immortalis-G715,并将配置升级到了 11 核,浮点运算能力提升 2 倍,整体曼哈顿性能提升 32%,功耗优化 41%。

支持硬件级光追能力,整体光追能力提升 3 倍, 支持行业最新的 vulkan1.3,结合 VRS 可变分辨率渲染,能大幅提升在复杂场景中的融合渲染能力,带给用户更完美的游戏体验。

it3TymzdHk.jpeg

在 APU 方面,天玑 9200 旗舰平台采用第六代 APU690,全新的省电架构和像素级处理技术, 部分场景能效可提升 45%以上。

NT8ZWNBZma.jpeg

  • vivo x MediaTek 多领域深度合作,联合研发 5 大功能

早在 20 个月之前,vivo 与 MediaTek 就已经展开了密切的合作。双方在影像、游戏、AI、显示、通信、功耗、UX 性能等多领域展开深度联合研发。vivo 从用户的使用场景出发,将vivo 的产品需求前置到芯片的规划阶段,去影响、改变部分芯片的规格,从而帮助用户在实际使用场景中做到性能和功耗的完美平衡。

TrQMaF2paA.jpeg

此次,双方加深合作深度,带来了 5 个联合研发的重磅功能:MCQ 多循环队列、王者荣耀自适应画质模式、芯片护眼、APU 框架融合和 AI 机场模式。合作带来的不只是某个单一领域的升级,而是从性能释放到游戏体验,再到显示、影像乃至通信等领域的全面突破。

KbdQ5eweJR.jpeg

  • MCQ 多循环队列:多核场景,高速传输

MCQ 多循环队列是行业针对未来多核场景考量,为发挥 CPU 极致性能,重新定义的一款全新处理引擎。MCQ 最多可为 CPU 和 UFS 之间的数据交换提供 8 条通道传输,有效提升CPU   的数据并发处理能力,让应用软件切换和后台下载唤醒更快、更流畅。

7hsnY3iT2H.jpeg

经测试,搭载 MCQ 技术后,随机写入速度增加 16.7%以上,安兔兔跑分近 5000 分,在更多更实用的场景也有明显的进步。各类 APP 的安装和启动时间也均有不同程度的缩短,如重载游戏和平精英安装时间缩短 10%,启动时间缩短 26.5%。

SwFK5JHytT.jpeg

经过 vivo 和 MediaTek 的共同努力,天玑 9200 旗舰平台成为行业首个支持 MCQ 的平台,相信越来越多的平台会频繁使用到这一功能。

  • 王者荣耀自适应画质模式:提升续航,控制升温

王者荣耀自适应画质模式,由 vivo、MediaTek、王者荣耀三方联合研发,是基于 MAGT游戏自适应循环开发的一项黑科技。vivo 透过平台服务,与游戏应用间的即时信息交换,游戏应用可针对信息即时逐帧调控,进而达到一个自适应闭循环。

GitbTbphDM.jpeg

NN2jr8rEwp.jpeg

这项黑科技包含 FPS 救帧模式、Thermal、Power 降载模式、冷却模式。打开该模式,可以在游戏极致设定下,增加游戏续航时间,控制手机升温——经过实测,  开启自适应功能后,26℃环境下,在王者荣耀 120+极致配置下运行 1 小时,游戏帧率接近满帧,均方差仅有 0.92。

YAd3yFzfmr.jpeg

  • 芯片护眼:实时侦测,实时降蓝光

视力健康现在越来越被大家重视,「蓝光」也成为了 vivo 想方设法要对抗的天敌。而芯片在降蓝光上发挥着至关重要的作用。vivo 和 MediaTek 共同在天玑 9200 旗舰平台上开发智能降蓝光技术,实时侦测画面蓝光占比,通过创新性的算法并硬化成 IP 的方式,实时降低蓝光。让高能可见蓝光占比小于 5%,色偏程度降低 12%。基于芯片带来的降蓝光能力,得到了 SGS 智能低蓝光认证。

Q5BkwKsNCB.jpeg

ykeQ57JJya.jpeg

  • APU   框架融合:能效骤增,优化协同

天玑 9200 旗舰平台的第六代 APU690 不仅算力高达 30TOPS,能效比相较上代更是提升了 45%。

MEN2WMkBZx.jpeg

基于 APU 硬件特性,MediaTek 提供了 NeuronRuntime 软件加速框架。vivo 将NeuronRuntime 底层通用能力,封装到自研 VCAP 异构计算加速平台中。从芯片底层到框架层,VCAP 在访存处理、动态量化、指令流水线等维度实现深度优化,让算法在多个处理器之间协同调度,带来显著的能效提升。

基于这套方案,vivo 在 APU 上实现了多个功能的优化:如相机超清文档、实况文本、离线语音输入法等。

N8SAFsYddw.jpeg

以离线语音输入法为例,vivo 推出了 Jovi 输入法 Pro 版本,支持全离线语音输入,确保数据不出端,用户隐私安全不外泄。是行业首次实现语音识别算法在 NPU 优化落地。对比上一代 CPU 方案,功耗优化 30%,性能提升 50%。

  • AI 机场模式:飞行节能,落地速连

AI 机场模式包含两大 AI 引擎:感知 AI 引擎、搜网 AI 引擎。在这一模式下,手机通过感知 AI 引擎准确感知用户进入机场与飞机的起飞降落,再通过搜网 AI 引擎来准确识别目的地,并智能调控搜网策略。

6stTyjxe8y.jpeg

得益于 AI 机场模式,不仅是飞行过程中有优化,在飞机落地关闭飞行模式后,手机捕获网络仅需 1.52 秒,实现网络秒开,而在优化前是 7.41 秒,时间缩短了 79%。

4RyNtNRxrC.jpeg

  • 多场景联合调校

    经过 vivo 和 MediaTek 的共同攻关,天玑 9200 性能指标达到了业界 TOP 级,安兔兔实验室跑分超过了 128 万。能得到这样的成绩,离不开 OriginOS 的提升。

     ◆ 游戏场景:稳帧降耗,冷劲全速

    在游戏场景下,带来可变分辨率渲染 VRS、游戏超分等黑科技,还通过疾速启动引擎和网络加速引擎增强游戏表现,对游戏的下载、启动、加载、运行等多个环节进行全方位优化——在王者荣耀 120 帧+超清画质下,运行 1 小时,平均帧率高达 119.72 帧,均方差仅为 1.71。这样的游戏表现,是对冷劲、全速最好的解释。

A6SdwnsTrn.jpeg

TbESxnKAty.jpeg

 ◆ 影像场景:优化性能,有效降耗

除了游戏,影像也是大家关注的焦点。此次,vivo 与 MediaTek 共同优化了多种拍摄场景下天玑 9200 旗舰平台的表现。首次以极低的功耗实现了先进的循环视差网络,大幅优化能效表现,能耗降低 15%。同时显著提升了人像模式的视差和深度估计表现,对于头发、眼睛、手持物体等细节区域改善明显,虚化效果提升 5%。尤其在 4K 60 帧极限录像场景中,天玑 9200 的功耗相比天玑 9000 足足降低了 25%。

iMAiHtFZ2h.jpeg

自研芯片 V2   重塑芯片结构,影像性能双爆发                    

vivo 开创了外挂芯片技术形态,将高能效、低延时的自研芯片运用在性能与显示领域,并迅速在全行业流行和普及开来。面对用户「效果好、体验佳、性能强、功耗低」的呼声,vivo 带来全新一代自研芯片 V2。

自研芯片 V2 是一颗从场景事件出发,针对 AI 大密度算法算力需求,量身定制的「低功耗 AI加速芯片」。vivo 从芯片底层技术出发,对片上内存单元、AI 计算单元、图像处理单元三大单元做了大幅升级,带来了全新 AI-ISP 架构,翻开了移动影像的新篇章。

SjMddXZGci.jpeg

  • FIT   双芯互联技术:软硬结合,高速协同

手机 AI 计算成像,大致可分为平台和外挂两种解决方案——外挂芯片可减少软件调度,高效专注于大密度 AI 运算,但在特定场景下的运算缺乏灵活性;平台 SoC 软件部署灵活,NPU 峰值算力上限高,但难以满足大密度运算的算力需求。

为了发挥平台和外挂的各自优势,做出 1+1>2 的效果,vivo 系统架构师和工程师在尝试了若干种芯片间高速通信的方案之后,终于设计出 FIT(Frame Info Tunneling)双芯互联技术。

自研芯片 V2 与平台 SoC 的芯片架构和指令集完全不同,vivo 将大型复杂算法模块拆分,把算力密度小、网络结构复杂的小模型部分,通过软件部署在平台 NPU 上;把算力密度大、数据吞吐密集的大模型部分,部署在自研芯片 V2 硬件上,让它们处理各自擅长的运算模块。平台NPU 会对传感器和每帧画面进行预处理和运动感知分析。

ssaiBDbMtP.jpeg

通过自研 FIT 双芯互联技术,自研芯片 V2 可以将 NPU 分析的结果和高精度 Timecode 嵌入到每帧画面中,在 1/100 秒内完成双芯互联同步,实现软硬结合,高速协同计算——在异构多芯片计算方向上,迈出了重要的第一步。

  • 近存 DLA+片上 SRAM:优化 AI 部署,释放平台潜力

在端侧移动设备进行 AI 处理,有三个核心要素:算力容量,算力密度和数据密度——三者相互关联,共同决定着 AI 处理能力的上限。基于 CPU、GPU、NPU 的软件 AI 框架,平台 SoC 算力容量大,适合部署网络结构复杂的模型,但能效比不高,无法满足对大密度 AI 运算的需求。因此,在自研芯片 V2 的设计中,vivo 加入了近存 DLA。

  • 近存DLA(深度学习加速器):提升算力密度,优化视频能力

Tpkra8Dh4D.jpeg

近存 DLA 通过全硬化 MAC 设计和大容量专用片上 SRAM,强化算力密度和数据密度,以释放平台的算力容量潜力。

mm4ywfbFdS.jpeg

算力密度方面,得益于全硬化 MAC 设计,V2 的近存 DLA 在实际 AI 运算中,能够达到 100%MAC 利用率。相比在平台 SoC 软件部署 AI 运算,8bit 算力密度提升了 2-3 倍。此外,vivo 还针对专业视频的 10bit 处理需求,在自研芯片 V2 中专门硬化了 10bit 的 MAC 单元——相比平台 SoC 软件部署所采用的合并运算方式,10bit 算力密度提升了 4-6 倍。

  • 片上SRAM(高速低耗缓存单元):扩大等效内存,提升运算速度

另一方面,数据密度受到传统架构 von Neumann 内存墙的制约,大密度运算会遇到数据填喂不足、运算等待数据的问题,极大限制了计算性能。为保证数据密度与算力密度的完美匹配, 自研芯片 V2 借鉴了近存计算的思想,在近存 DLA 内配套设计了专用片上 SRAM,速度高达 1.3 万亿 bit/s,让V2 的片上 SRAM 容量较V1 提升了 40%,达到等效 45MB。近存DLA 的设计大幅减少了数据寻址和搬运的功耗,与通常 NPU 采用的 DDR 外存设计相比,SRAM 数据吞吐功耗理论最大可减少 99.2%。

EiJfXYmaNa.jpeg

pzDrnn8jdi.jpeg

算力密度和数据密度的双重提升,以及多项低功耗电路设计方法的加持,让自研芯片 V2 的近存 DLA 在同等芯片制程条件下的表现远超同行竞品——内核每瓦算力在运行 8bit MAC 和 10bit MAC 时,分别达到了 16.3TOPS/W 和 10.4TOPS/W;在部署相同算法时,自研芯片 V2 相比传统 NPU,能效比提升了 200%。

JRGxCYnJBf.jpeg

Bn73ka8xTD.jpeg

有了 FIT 双芯互联和近存 DLA 两项芯片底层技术的助力,vivo 在端侧 AI 部署上有了更多的灵活性和创新空间。

  • 全新  AI-ISP  架构:双芯算力互补,提升影像性能

在应用侧,vivo 自研芯片 V2 将传统的 ISP 架构升级为 AI-ISP 架构,实现了跨越式的技术革新。

aP2WCfASc2.jpeg

传统 ISP 以行为单位进行信号处理,其滤波器普遍是手工设计的。虽然能以极低延时处理大量的数据流水,但是只能解决已知的、特定的问题。

AI 可以处理复杂的、未知的问题,但 AI 软件算法部署在 NPU 时,需要以帧或块为单位进行处理;反而会破坏 ISP 的行级流水架构,造成延时提升,导致性能下降。同时,由于绝大部分平台 SoC 片上 SRAM 容量有限,大量 AI 算法在接入 ISP 管道后,要通过外部 DDR 来完成数据暂存和交互。这就会造成运算与数据分离,牺牲了高性能 AI 运算至关重要的 Data-Locality 要求,进一步降低了性能。

通过 FIT 双芯互联,vivo 第一次将平台 ISP-NPU 与 自研芯片 V2 的 ISP-DLA 作为一个整体,来设计最合理的 AI 算法处理架构。将平台 SoC 上NPU 的大算力,与自研芯片中近存 DLA 的高能效、低延时在部署时进行互补设计,带来全新的双芯 AI-ISP 影像体验。

  • 双芯 AI-ISP 架构:灵活多变,专用专注

pWibcAkjNP.jpeg

sD3YGz6Khx.jpeg

旗舰平台与自研芯片,双 ISP 双 AI,一个灵活多变,一个专用专注,实现极致效果与极致能效比。再配合蔡司 T*镀膜、VCS 仿生光谱技术及强大的 vivo 算法矩阵,vivo 将整个计算成像光路进行了一次革新。vivo 自研芯片 V2 带来了全新的 AI-ISP 架构,在此架构下,FIT 双芯互联、近存 DLA、专用片上 SRAM 等多项突破性设计,能最大化满足 AI 大密度算法算力需求。未来,vivo 将继续在多芯系统、单芯架构与应用 IP 上持续精进,让自研芯片与旗舰平台灵活互补,实现极致能效。

影像   自研影像算法,拓展全场景专业成像        

6eJhSQfX6C.jpeg

  • 长焦:长焦能力,质的飞跃

手机长焦拍摄通常存在两个问题:拍摄倍率过大时画面会模糊、手持运镜导致画面剧烈抖动,简单来说就是:拍不清和拍不稳——为此,vivo 带来了全新的解决办法。

YzjjnHWFsK.jpeg

为了让用户拍得更清楚,vivo 借鉴科研领域天文望远镜和高端显微镜的图像处理流程,带来全新的超清画质引擎。

  • 超清画质引擎:图像处理流程 AI 化,突破镜头工艺上限

超清画质引擎从底层改写了 ISP 图像处理链路,将图像处理 AI 化,包含了 Denoise 降噪、Demosaic 细节恢复、Deblur 去模糊三大重要模块,以及蔡司光学超分算法。

MysMijJ45i.jpg

蔡司光学超分算法是这套引擎的核心。它是 vivo 和蔡司联合研发的一种全新计算光学算法,能根据每个手机的模组特性做建模分析,通过逆运算动态调整,补偿光学信息,突破镜头工艺的上限。在蔡司光学超分算法的加持下,可以恢复 5 倍以上焦段约 35%的清晰度信息。

tntmDai4GM.jpeg

  • Ultra Zoom EIS 技术:软硬协同,稳稳运镜

在长焦拍摄的过程中,变焦的倍率越大,抖动也会被放大,Ultra Zoom EIS 技术可以消除抖动对拍摄的影响。它包含了 IMU(惯性测量单元)、OIS 光学防抖与 EIS 电子防抖三大模块:IMU 负责检测抖动,OIS/EIS 负责抵消抖动,软硬协同防抖。这使得 vivo 能在 20X 以上倍率实现抖动抵消,让被摄主体在画面中趋于平稳不会晃动。

p2xtCd66E7.jpeg

结合超清画质引擎,Ultra Zoom EIS 技术在效果和体验层面带来显著提升,这是 vivo 长焦能力的一次全面升级。这只是纯算法的效果提升,下一代影像旗舰产品,结合硬件升级后会有更好的长焦拍摄效果,将会是 vivo 长焦能力质的飞跃。

  • 运动抓拍:按下快门,定格美好瞬间

专业相机的快门延迟在 30ms 左右,而手机的快门延迟一般在 170-300ms。所以在同一时刻按下快门,专业相机出片完成后,手机可能仍未开始曝光。

  • “零延时”抓拍:迅速成片,所见即所得

全面优化图像处理管线,提升 Sensor 启动速度,快门延迟低至 30ms,达到专业相机水平。

按下快门就能迅速成片,让所见即所得。

EtezXcfWzC.jpeg

  • 运动检测算法:捕捉运动主体,抓住精彩瞬间

为了让手机能够准确捕捉运动主体,vivo 带来了新一代运动测量与跳跃检测算法,运动画面定格能力相较于上一代提升 58%,牢牢抓住精彩瞬间。

运动测量与跳跃检测算法包含自研人体检测和追踪算法、自研物体检测和万物追踪算法、自研高频轨迹侦测对焦等多种算法,通过深度学习让手机能够思考、预判画面走向并及时锁定画面, 运动画面定格能力从 85 分提升至 92.4 分,牢牢抓住精彩瞬间。

4iZW4RSktr.jpeg

  • 暗光抓拍:多算法叠加,全链路优化

通过“零延时”抓拍和运动检测算法,让 vivo 具备了更强的瞬间抓拍能力。为了确保在暗光场景下也能实现这样的能力,vivo 做了多个算法的叠加,在手机摄影的全链路上都进行了大幅优化。

  • Sensor 感光能力:ISO 升至 10W

首先,vivo 和 Sensor 厂商深度合作,将 Sensor ISO 高感从上一代的 16000 提升到102400,暗光场景下的感光能力大幅提升。

dSjE5BtNtE.jpeg

  • 自适应多帧融合  + RawEnhance2.0:多帧融合叠加,暗光抓拍无拖影

其次,在运动抓拍时采用运动自适应多帧融合技术,一次快门生成多帧运动画面,叠加 vivo 自研的 RawEnhance2.0 算法,可以把每一帧有用信息叠加在一起,让暗光运动也无拖影。

MQBawzzN4C.jpeg

8H5Zj7mXJ5.jpeg

Jax64XkdPG.jpeg

新一代的运动抓拍,在 5lux 的暗光环境下,画面细节表现提升 17.3%的同时,噪声还降低了46%。

  • 精彩回溯:动态保存,自动优选

vivo 把抓拍定格的能力也赋予到了动态照片中,可以保存用户按下快门前后 1.5 秒的图片序列,将运动过程整理成多个清晰的动作切片,并支持自动优选出最美的一帧,让普通人也能像专业摄影师那样抓拍精彩瞬间。

HcGFffNfy5.jpeg

双轨研发塑造 vivo 底气,极致产品回应用户期待

不论是影像技术迭代,还是芯片架构升级,单纯的硬件堆叠和算法配置都无法真正让人满意。vivo深知,技术自研是一条壁垒很深,需要长期积累的发展道路。

在自主研发的基础上,vivo 始终与行业优秀的伙伴们保持开放且深度的合作。vivo 坚持打磨人无我有、持续迭代的底层核心能力,将自主研发与联合研发相结合,去走一条差异化、高端化的道路。如果说,自主研发是 vivo 有别于他人的赛道选择,那么联合研发则是 vivo 突破技术边界的坚定尝试。如今,vivo 将自主研发与联合研发相结合,就是为了带给消费者更好的产品体验。

正是一直以来埋头种因的坚持,让 vivo 努力做得比别人更好,走得比别人更踏实、更长远。相信即将发布的下一代旗舰,能让大家能感受到 vivo 厚积薄发的技术实力。

最新文章