《电子技术应用》
您所在的位置:首页 > 电子元件 > 业界动态 > OPPO自研影像专用NPU背后,成为AI赛道黑马的野心

OPPO自研影像专用NPU背后,成为AI赛道黑马的野心

2021-12-20
来源: 智东西

  OPPO突围AI底层技术,首颗自研影像NPU搅动AI产业。

  如今每个人对于“AI”这个名词或许都能聊上两句。各类智能硬件设备不断深度介入我们的生活中,大到智能汽车、小到一部手机。在智能硬件爆发的背后,AI算法也在快速迭代发展,算法模型越来越复杂,对于硬件的要求也更高,“AI芯片”这个概念也成为了近几年来AI产业关注的焦点之一。

  其实,能够用于人工智能应用、实现AI加速的模块,都可以称为广泛意义上的AI芯片。比如我们大多数人手机处理器中的NPU(神经网络处理器)模块,就是一种AI芯片。

  就在两天前,OPPO发布了自家第一个自研芯片,这是一个专门用于影像处理的NPU芯片,名为马里亚纳 X,与世界上最深的海沟“同名”,OPPO要趟自研芯片这最深的水。

forward (23).jpg

  面向AI应用的全新DSA架构、台积电6nm先进工艺以及40倍的AI能效比提升,马里亚纳 X将手机计算影像推向了“4K+20bit RAW+AI+Ultra HDR”的时代,同时,也首次将AI影像算法与传感器、SoC进行了垂直整合,完成了影像链路的闭环。

  一句话来说,马里亚纳 X作为开发专用AI算法,到算力硬化全链路垂直整合能力标准对芯片,弥合了AI算法与硬件之间的鸿沟,成为加速AI算法落地的“桥梁”。

forward (22).jpg

  正如OPPO创始人兼首席执行官陈明永所说,OPPO已经走入了技术研发的“深水区”, 对于OPPO来说,马里亚纳 X的落地证明了OPPO自研芯片的技术与能力,而对于AI产业来说,马里亚纳 X或许为AI在移动领域的加速落地提供了新的思路。

  01.AI能效比暴涨40倍,算法落地视频成为可能,DSA架构剑指计算影像

  从芯片技术架构来看,常见的AI芯片主要有通用芯片(CPU、GPU)、半定制化芯片(FPGA)、全定制化芯片(ASIC)、类脑芯片以及软件定义硬件芯片五大类。

  马里亚纳 X这枚NPU主要用于手机影像计算领域,相对来说应用更专一,并且芯片专门为提升OPPO手机的影像体验而定制对专用AI芯片,其中既有接近ASIC芯片的专用性而带来的超高效率,同时又具备AISC所没有的灵活性。

  目前通用手机SoC中都包含了ISP(图像信号处理)模块,顾名思义,ISP的主要作用是对图像传感器采集到的信息进行处理,它也是一种ASIC芯片,但大都集成于手机SoC中。而ISP与马里亚纳 X最核心的区别就在于ISP并不具备AI性能,在SoC中必须要依靠另外的AI计算单元来配合。例如苹果A系列芯片的ISP,也需要依赖整个芯片的Neural Engine提供AI的算力支持。

  马里亚纳 X的AI算力达到了18TOPS,已经可以比肩苹果A15,而在峰值算力强劲的同时,实现较好的能效是OPPO更加看重的,这一点在手机这类移动设备上显得尤为重要。

forward (21).jpg

  马里亚纳 X能够做到11.6TOPS/W的能效比,这是移动设备中罕见的两位数对能效比性能,意味着手机能够在消耗既定电量都条件下,能够处理更加大量的数据。

  值得一提的是,该结果是基于真实落地商用的复杂AI算法和随机生成图片得来,实际上,如果基于现实世界的人像、风景等真实图片进行处理,马里亚纳 X的能效比还会更高。与搭载骁龙888的Find X3 Pro进行对比,马里亚纳 X运行OPPO自研AI降噪模型的性能可以达到40FPS,大约是OPPO Find X3的20倍。

  在此基础上,马里亚纳 X的功耗仅有800毫瓦,仅为OPPO Find X3上骁龙888的一半,因此能效比达到了40倍,这种提升无疑是一种“质变式”的。

forward (20).jpg

  实际上,虽然手机计算摄影发展多年,但大多数AI算法仍然只能针对单张或者多张照片进行处理,比如AI美颜、AI夜景拍照的后处理,本质上依然是以时间换计算,如果要算的更多,那意味着消费者往往需要在拍摄后等待更久的处理。

  但这样的算法,面对需要实时处理大量视频拍摄却很难应用。因为在视频拍摄中,AI算法运行最低性能门槛也要有30FPS,这意味着芯片需要提供30倍以上的性能,才能让后处理的算法,能够实时去运行。

  可以说,马里亚纳 X让算法在视频端的应用从不可能变为了可能,这对于AI算法应用效果的提升来说是“从量变到质变”。基于这样的AI性能及高能效比,马里亚纳 X在手机影像领域实现了诸多突破。

forward (19).jpg

  比如在成像的动态范围方面,马里亚纳 X最高能够支持20bit Ultra HDR成像、覆盖100万:1的最大亮度范围,这样的能力已经媲美“人眼级”,也是目前行业中如骁龙8、天玑9000这类主流移动SoC HDR能力的4倍。

  根据OPPO给出的拍摄样例对比可以看到,在人像拍摄和静物拍摄两类场景中,采用马里亚纳 X方案的机型拍出的视频,可以明显提升暗部的细节,同时高光部分也没有过曝现象。

  在强劲AI性能和对影像体验的直观改善背后,马里亚纳 X芯片在架构层面也进行了大胆突破。马里亚纳 X采用了AI时代的DSA架构理念,简单来说,DSA就是“应用在特定领域的架构”,马里亚纳 X的“特定领域”,显然就是手机计算影像。

  目前在通用手机SoC中也有用于提升AI算力的模块,不同的厂商或许叫法不同,但可以广泛地看作一类通用NPU,这种通用NPU要兼顾很多不同场景中的算法模型。相比之下,马里亚纳 X的DSA架构更加专用,针对OPPO自研的AI模型去硬化对应的算子,这也是OPPO影像专用芯片与传统NPU的核心区别之一。

  可以看到,OPPO在通过一种“专芯专用”的芯片设计思路,弥合传统硬件和AI算力鸿沟。而在核心的AI性能领域,马里亚纳 X已经具备足够能力突破目前手机计算摄影的“天花板”。

  02.AI赋能千行百业之下,OPPO成AI赛道黑马

  马里亚纳 X的发力点是手机计算影像,而放眼整个AI行业,AI落地的大潮已经在千行百业中快速渗透。“AI芯片将无处不在”的预言正在成为现实。

  从智能手机到智能家居,从数据中心到边缘设备,我们的生活正在被AI芯片全面入侵。仅仅在智能手机领域,AI技术已经深入移动游戏、视觉识别、音频交互、通信优化、智能充电等各个角落。

forward (18).jpg

  业内通常将AI产业分为应用层、技术层和基础层,其实OPPO目前面向万物互融时代的“3+N+X”战略,包含了软件硬件基础技术、AI技术以及以充电、影像为代表的差异化技术,在AI产业的应用层和技术层,OPPO已有较多储备。而此次的马里亚纳 X,显然是OPPO面向AI芯片领域的一次大胆探索和前瞻性布局,AI芯片也是目前AI产业基础层中愈发重要的一环。

  在AI芯片中的通用CPU、GPU领域,由于GPU擅长重复性高的大规模并行计算任务,因此可以作为AI加速器使用。在这一领域,英伟达因其成熟高效的GPU解决方案,在AI训练芯片市场中独领风骚,其各类AI加速器产品在业内被广泛应用于云端和终端侧。

forward (17).jpg

  ▲NVIDIA A100 GPU

  如英伟达、AMD、英特尔这样的头部玩家,通过定制化CPU和GPU提供AI加速器解决方案,成为了全球AI领域基础设施建设的最大获益者,不过他们的产品鲜有涉及移动端,主要以面向桌面端平台为主。在移动端,手机AI芯片目前还主要以NPU模块的形式存在于通用手机SoC中,这也与手机的算力需求以及功耗要求密切相关。

  由于能效比要求更高,并且定制化需求更加“千人千面”,移动端也需要有针对性的AI芯片产品出现。从过去两年来看,手机AI芯片市场格局基本稳定,由苹果、华为、高通三大巨头牢牢把控高端市场,联发科、展锐等厂商在中端及入门级市场中表现亮眼。

forward (16).jpg

  但实际上,随着手机功能越来越丰富,以计算影像为代表的应用场景对于算力和功耗的要求越来越苛刻,这些通用手机AI芯片应对某个特定领域的AI需求已经有些捉襟见肘。

  此时OPPO无疑成为了手机AI芯片领域的一位新晋玩家,用三年时间,经过上千人研发团队的努力,终于将马里亚纳 X这枚影像专用NPU带到了我们的视野中,并即将于明年落地在旗舰级Find X系列中。

forward (15).jpg

  除了对于AI产业基础层AI芯片的突破,OPPO也把握住了一次AI产业中的重要趋势变革,也就是软硬件的深度结合,将算法写入硬件中,做“硬件级的算法”,也一直是OPPO致力实现的目标。在终端AI芯片在移动领域的应用侧,OPPO在特定领域率先实现了突破。与其说OPPO在做一个影像专用NPU芯片,不如说OPPO在用一种新的思路,实现AI算法在终端侧的加速实现。

  03.结语:OPPO亮剑AI芯片产业

  马里亚纳 X以其强劲的AI算力和AI能效比,显著提升了手机计算影像的体验,同时也用软硬件深度结合、专芯专用的思路和方式,准确切入了AI芯片赛道,成为终端AI芯片产业的一位新晋玩家。在AI强势侵入并颠覆各个传统领域的同时,AI芯片正在云计算、手机、安防监控、智能家居、自动驾驶等场景上演新的群雄争霸赛。终端AI芯片战场格局复杂,新老玩家、跨界玩家交融,各展其华,而OPPO也走出了一条属于自己芯片之路。

  作者 |  云鹏

  编辑 |  漠影




mmexport1621241704608.jpg


本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。