《电子技术应用》
您所在的位置:首页 > 电源技术 > 业界动态 > 手机摄像头的未来会怎样发展?

手机摄像头的未来会怎样发展?

2018-07-25

从第一台带有摄像头的手机诞生开始,短短的十几年内手机摄像技术得到了质的飞跃。防抖、暗光高清、HDR 已成手机标配,随着智能双摄、智能场景拍摄等 AI 拍照功能加入,使得手机摄像技术的对标也直指单反。市场的激烈竞争,使得手机厂商自然不会放过每一次技术革新带来的巨变。随之而来,作为产业上游——手机摄像产业又会面临怎么样的洗牌和迭代故事?

微信图片_20180725110236.jpg


手机摄像头发展趋势


2010-2012 单摄像素的追求与 3D 内容双摄的尝试


早期单摄像头手机时代,手机在拍照方面还是以单纯的提高图像分辨率为主,在普通大众眼里,“手机像素越高,拍照效果越好”,手机图像传感器的分辨率从早期的 30 万像素一路飙升到千万像素以上,手机拍照也就逐渐取代了卡片相机,这一阶段随着 2012 年 Nokia 推出高达 4100 万像素 808 PureView 手机而达到高潮。 

 

由于手机本身追求轻薄化的外观,硬件的限制导致单纯提高分辨率并不能够有效提升拍摄质量,因为两千万的像素已经接近手机图像传感器成像的极限,故当前手机拍摄都锁定在800-2000 万像素之间。 

 

2011年,3D概念非常流行,比如3D电影、3D电视,当时在手机领域大红大紫的HTC想成为第一个吃螃蟹的厂商,推出了3D手机 HTC EVO 3D,后置 500 万+500 万像素彩色相机,主要用来拍摄 3D 照片和 3D 视频,实现裸眼3D效果。LG、夏普也随之推出类似功能。不过,由于当时的3D效果差强人意,并且实用性较差,3D视频分享也不方便,这类手机尝试也随着3D热潮退去。 


2013-2016 多元化需求点燃双摄走向成熟


2013 年,智能手机拍摄已经向夜景/暗光拍摄、防抖拍摄、全景拍摄、HDR拍摄等多元化需求转变了。在这一年9月,iPhone 5S主打拍摄也进一步刺激了市场。与此同时,HTC再次选择双摄想来打个翻身仗,2014年3月,HTC推出了用于背景虚化的双摄手机 One M8,配备主摄400万+副摄200万后置彩色 摄像头,目的是想在手机上用双摄获取景深以实现单反大光圈的拍摄效果。遗憾的是,HTC 虽然硬件设计能力很强,但是双摄配套软件,尤其是双摄核心算法方面还不成熟,其背景虚化效果在稍复杂的的场景便会出现明显破绽,加上副摄像头所能提供的细节信息太少,实用性不强,因此并没有被市场所认可。至此,HTC 在双摄方面两次尝试都已失败告终。

微信图片_20180725110317.jpg

 图片来源:小米 6、小米 8、ArcSoft 虹软官网 


回头看,全球第一款真正意义的双摄手机应该是铂顿(大观 5),这是由酷派在 2014 年 8 月推出的。 该手机后置 RGB+RGB 双摄,拍摄人物主体锐利突出,背景虚化效果自然,该RGB+RGB 双摄方案得到了用户和市场的认可,成为后来 RGB+RGB 的双摄主流方案。另外,华为在那个年代,也开始在双摄方面布局,不过华为早期尝试的是另一种称之为“拼接双摄” 的技术方案。2014 年 12 月,华为推出了其第一款双摄手机荣耀 6 Plus,后置 800 万+800 万像素 RGB+RGB 配置。这款双摄手机主打的是低像素合成高像素,也就是两个 800 万像素镜头拼接合成一张 1300 万像素照片,所以称之为“拼接双摄”。不过因为成像效果落后于同时代手机,且背景虚化时前景物体边缘过度不自然,市场反应平平,因此华为也选择了淡化这款手机,不再推出其下一代产品。 

微信图片_20180725110337.jpg


图片来源:ArcSoft 虹软官网 


2015 年 8 月,奇酷 360 推出 RGB+Mono 旗舰版双摄手机,也是全球首款采用 RGB+Mono 组合的手机。由于暗光成像效果出色,该双摄组合后来也成为主流的双摄配置,为后来该方案大规模普及奠定了基础。 随后,2016 年 4 月华为也发布了采用 RGB+Mono 方案的双摄手机 P9。这款手机与徕卡合作开发,无论是光学水准、品控、镜头模组的打磨,还是后期软件算法的调校都比较出色,能够实现大光圈、黑白相片、徕卡德味的照片效果。市场反响不错,因此之后华为大部分旗舰手机都选择了 RGB+Mono 的双摄配置。 

 

安卓厂商的创新也进一步刺激了苹果公司,2016 年 9 月苹果推出广角+长焦(wide+tele) 的 iPhone 7 plus,该组合的目的是实现光学变焦。这其实是一种非常朴素的变焦思路:用两个焦距不同的摄像头搭配,宽视角的广角镜头可以“看”的很广,但是“看”不清远处的 物体,而窄视角的长焦镜头虽然“看”的范围不大,但是“看”的更远更清晰。广角和长焦 镜头组合搭配,在拍照时通过镜头切换和融合算法就能实现相对平滑的光学变焦。高像素的长焦镜头能保证广角镜头因变焦而损失的图像信息远低于单摄像头的数字变焦(假变焦), 从而得到较好的光学变焦体验。此次 iPhone 7 Plus 的双摄像头升级是 iPhone 问世以来在摄像头方面最大的一次改变。 

 

算法公司与模组厂商是成就双摄的主要功臣 

 

算法公司对双摄的发展起了非常大的促进作用,对行业起到最大作用是 Linx、ArcSoft 虹软、Altek 这三家公司。Linx 因被苹果公司收购而出名,苹果双摄基本采用该公司的软硬件方案。


ArcSoft 虹软则是2014 年酷派RGB+RGB 与2015 年奇酷的RGB+MONO 的背后双摄算法提供方, 当前各安卓手机的 Wide+Tele 方案主要也是该公司提供的解决方案, Altek 则主要是早期给华为提供双摄模组以及算法的供应商。

 

双摄模组厂商主要有三星电机(SEMCO)、LG Innotek、舜宇(Sunny)、欧菲光(O-Film)、丘钛(Q-Tech)、信利(Truly)、光宝(Liteon)。早期双摄市场不明朗的时候,观望徘徊是双摄市场的主流,很多安卓手机厂商密切关注苹果在双摄方面的动向。保守的策略虽然


暂时是安全的,但是也会错失行业的历史性机遇。这方面比较有定力的是大陆老牌模组厂舜宇光学(sunny optical),率先在双摄模组研发方面发力。依靠深厚的技术积淀,舜宇在2015 年自研成功了 AA 设备,为 2017 年双摄爆发积蓄好了技术和经验,最早在双摄模组领域站稳了脚跟,目前舜宇是大陆双摄产业链中最受益的模组厂商。 

 

微信图片_20180725110400.jpg

 

单摄像头手机时代,算法供应商与模组厂之间是独立运作,不需要交流,厂商直接采购镜头,算法公司则直接在手机生产尾期进入调试成像效果,算法供应商在产业链中的话语权并不高。而在手机双摄时代,手机产业链格局发生很大变化,双摄算供应商开始扮演重要的角色。这 是因为手机双摄软硬件技术门槛都很高,首先需要模组厂制造出高精度高一致性的双摄模组, 和单摄相比制造难度成指数级上升,但是世界上没有两片完全相同的叶子,套用在双摄模组 上也同样适用,由于制造工艺的误差,两颗摄像头不可避免会在镜头参数和组装精度有所不 同,这就需要算法供应商的相机标定算法对误差进行测量并后期修正。 

 

在双摄算法中,相机标定可以解决两个相机生产过程中由于制造误差产生的光轴不平行问题, 同时校正由于广角镜头造成的图像畸变,是双摄算法的基石。双摄模组标定的几个关键评价 点是:1、标定精度高,这是双摄算法基础;2、标定速度快,对出货量极大的手机来说时间 就是金钱;3、标定方案简单易用、可以快速部署;4、标定图案物体尺寸小,方便工作站使 用;5、标定方案鲁棒性强,具有良好的容错性,即使出现的偏差也不会对结果有大影响;6、兼容性强,适用于多种双摄组合,可以重复利用。 

 

微信图片_20180725110422.jpg


双摄标定示意图 


双摄模组一般分为共支架和共基板两种,其中共支架方案组装精度更高,而共基板的方案组装精度低一些,成本也相对低。不过随着模组厂组装工艺的不断改良和提升,两种方案的精度差别逐渐缩小。此外,最近还有一种无支架的概念,其本质就是绕开模组厂的封装和标定,


使用两颗单独的相机直接放置在手机上。这种方式虽然节省了模组封装的成本,但也存在一定的隐患,比如手机经过重摔、拆机、修理后,两颗相机很可能发生移动,如果没有专业的标定工具进行重新校准,很可能会极大的影响双摄成像效果。目前在对成本敏感的部分低端机上使用,具体情况还需市场进一步考验。 

 

然后算法供应商需要根据手机厂商的需求,针对不同搭配组合的双摄模组进行针对性的双摄算法设计和优化,实现背景虚化、暗光高清、光学变焦等功能。最后手机厂商联合模组厂、算法供应商等进行拍照效果的联合调优。双摄算法门槛极高。主要体现在如下几点。


1.算法研发壁垒高。双摄算法涉及计算摄影学、计算机视觉、光学、摄影美学等多个交叉领域的融合,属于新兴的技术,很多时候是摸着石头过河,既要紧跟前沿学术研究,又要脚踏实地商业化落地。另外对算法的鲁棒性要求极高。一方面由于手机出货量巨大, 且内部集成了成百上千种元器件,很难保证同一型号所有摄像头模组硬件参数一致;另一方面,用户拍照场景(环境光照、运动状态、角度、距离等)千差万别,这就要求算法能够在许多不利环境下仍能正常工作,这对算法鲁棒性提出了极高的要求。 


2.工程化应用要求高。手机产业对时效性有非常苛刻的要求,如果手机双摄开发流程出现问题,算法供应商要能够第一时间帮助客户定位问题解决问题,这需要非常紧密的上下游产业链协同合作和丰富的行业经验。此外目前大部分双摄旗舰机都是由算法供应商根据不同的硬件进行高度定制化开发,需要能够根据客户的需求进行快速的调整和优化,尤其是手机上市前,算法提供商需要具备一只强大的现场支持工程师团队。 


3.产业链合作要深入。算法提供商提供的其实是一整套双摄技术解决方案,算法本身是基础,此外还需要对处理器平台厂商的处理器架构非常熟悉,形成战略合作,从而将算法融入处理器平台,此外需深入了解手机厂商的需求,打通处理器平台厂商和手机厂商之间的快速通道,帮助客户将双摄技术快速落地。 


当前,全球能够提供核心双摄算法的公司并不多。苹果、华为都有软硬件闭环的生态,所以有能力通过收购或者自研的方式组件自己的算法团队。除了苹果华为之外,第三方开放算法供应商 ArcSoft 在安卓市场占据绝对的领导地位,具备所有双摄组合的解决方案,主流手机八成以上的安卓旗舰手机都采用的 ArcSoft 的双摄方案。以色列的算法供应商 Core photonics 在竞争激烈双摄领域逐渐退出市场。台湾的华晶科技(Altek)既做做模组也做图像处理 ASIC,其双摄算法效果普通,主要搭配起硬件出售面向低端手机市场。 


2016-2018 双摄全面爆发,产业链基本定格


双摄已进入标配期,产业链也基本定格。根据 IHS Markit 提供的数据,2017 年全球手机出货量市场份额如下。中国手机厂商华为、OPPO、Vivo、小米的总市场份额约等于三星和苹  果的市场份额之和。而双摄在中高端设备渗透率已超过 50%。 


微信图片_20180725110452.jpg


2017 年全球 top7 手机厂商对应的双摄算法公司、处理器平台厂商、相机模组厂商如下所示:


微信图片_20180725110516.jpg


目前,双摄算法主要分为以下几大阵营。 


1、 苹果依靠收购的 Linx 公司和自身多年的图像处理技术的积累,在 iOS 系统上形成了闭环的生态系统。其推出的双摄手机均为后置 Wide + Tele 组合。 


2、 安卓旗舰双摄手机市场,华为凭借内部算法团队和海思麒麟处理器形成了类似苹果的生态闭环。其推出的双摄手机几乎都是 RGB + Mono 组合。 


3、 除了华为外的其他安卓手机阵营。 


ArcSoft 虹软是双摄算法供应商的引领者,主要面向中高端手机,全球主流双摄手机出货量占有率达 80%以上。可以提供 Wide + Tele、RGB + Mono、RGB+RGB 全部的双摄组合解决方案,并且和平台厂商有非常深入的合作,工程服务能力极强。 


低端双摄手机方面,手机厂商为了节省成本,一般不会单独定制双摄算法,主要是使用平台厂或模组厂提供硬件时搭配的双摄算法,效果非常普通,但是价格便宜。 


手机摄像头模组的核心零部件主要包括:图像传感器(CIS)、镜头(Lens)、、音圈马达(VCM)、红外滤光片(IRCF)等。主要供应商都集中在亚洲的日本、韩国、中国大陆、中国台湾地区。  根据 TrendForce 发布的手机产业链市场数据, 2017 年 CMOS 传感器的市场份额最大,之后依次是模组、光学镜头、音圈马达和滤光片。 双摄应用后,模组封装技术难度增大,镜头要求更高,因此其相应产业链的附加值提升速度已加快。


微信图片_20180725110536.jpg


图像传感器属于集成电路芯片范畴,这一领域 Sony、Samsung  是最重要的两家公司,其产品主要面向中高端手机,两者市场份额都占三成左右,总共占据全球一半以上的市场。排名第三的 OmniVision 已于 2016 年初被中资集团收购,然后是韩国的 SK hynix 和中国厂商格科微(GalaxyCore),后者主要面向中低端产品。


双摄模组厂供应商非常多,位于第一梯队的主要有:舜宇(Sunny)、欧菲光(O-Film)、三星电机(SEMCO)、LG Innotek(苹果手机供应商)、丘钛(Q-Tech)、信利(Truly)、光宝(Liteon)。下图是 2017 年手机摄像头模组厂市场占有率(数据来源:TSR) 


微信图片_20180725110556.jpg


双摄镜头供应商方面,台湾的大立光电(Largan)是绝对的龙头企业,2017 年出货量占全球市场超过 3 成份额。此外,出货量较大的还有中国大陆的舜宇(sunny)、韩国 Sekonix 等公司。


双摄音圈马达供应商主要有:日本的 Alps、TDK 株式会社、三美电机株式会社(Mitsumi)、韩国的 Jahwa 几个厂商。


当前双摄处理器平台厂商主要有:高通、三星、苹果、华为海思、联发科。


2018-2020 手机摄像未来趋势:向多摄与深摄蔓延


2017 年是双摄手机爆发的元年,如今各大手机厂商旗舰机不管是前置还是后置基本都是双摄配置,并且随着双摄成本的下降,双摄手机必然将下沉到千元机。接下来,手机摄像头如何发展,是摆在业内人士的一个问题。对于行业来说未来有挑战更有机遇:


1、多摄像头手机方案


双摄的成功,自然会让人想到使用更多的摄像头的方案,第一个尝试该方案的是华为


P20 pro,该机后置采用 RGB+Mono+Tele 的三摄像头配置。从镜头的功能上来看,既可以利用 RGB+Mono 的组合实现超级夜景拍摄,也可以利用 RGB+Tele 实现光学变焦的能力。通过三个镜头的视觉差也可以获取拍摄对象的景深,实现大光圈的效果。通过实际测试,华为P20 Pro  三个摄像头并不能同时工作,只是根据不同的应用场景进行两两摄像头的组合,这种组合本质上是实现可变更组合的双摄。

微信图片_20180725110615.jpg


三摄镜头示意图


将来可能出现三个及以上更多摄像头(多摄)的方案,将不同的多摄像头搭配可以组合出很多的玩法,将不同组合双摄的优点集中在同一款手机上,所以实用性很强。据悉,下一代苹果手机也很可能采用多摄像头的方案。


2、高倍光学变焦


光学变焦在拍照中是非常刚需实用的功能,但目前基于 W+T 的双摄手机一般实现的是2倍的光学变焦,和单反甚至带伸缩变焦镜头的卡片机(至少 5 倍以上的光学变焦)相比,仍然有较大差距。因此,手机产业链对光学变焦非常重视,在未来的一两年内手机上很可能会有以下两种高倍光学变焦方案


多个(至少 3 个)定焦镜头组合实现高倍光学变焦。本质上和之前双摄的光学变焦原理类似,但是镜头的增加会提高硬件成本,对模组精度要求也较高,再考虑到光学防抖,对算法供应商来说也是一个很大的挑战。


潜望式光学变焦。其原理是在手机机身内部放置一个和手机屏幕垂直的内驱光学变焦模组,然后利用折射镜接收外界光线,这相当于让复杂的光学变焦系统与机身实现了平行设计,不影响手机本身的厚度,而且和单反或伸缩式卡片机相比,可以更好的防尘防水。不过,潜望式光学变焦也有很多缺点:一是复杂的光学变焦系统对模组制造及手机装配有非常苛刻的要求,二是后期双摄算法的调教也比较困难。对模组厂和算法供应商来说都是很大的挑战。


3、搭配深度相机


1)结构光方案深度相机


去年苹果发布了具备前置结构光深度相机的重量级产品:iPhone X,其杀手级的应用就是携带了三维人脸识别技术的 Face ID。其中结构光方案采用伪随机散斑,该核心技术由苹果公司收购的 PrimeSense 公司提供。8 个月之后,小米、OPPO 也推出了前置结构光深度相机的手机。


那么将来会不会前置结构光成为流行趋势呢?这里要打一个大大的问号。主要有以下几个考虑:


苹果的结构光软硬件方案技术壁垒非常高,处于垄断地位。就全球手机产业链来说, 目前能够提供足够精度的结构光方案只有苹果自己的供应链。除苹果外的第三方供应链目前精度还相差甚远,成本也居高不下。


目前安卓手机前置结构光方案和苹果的技术方案 可能存在专利纠纷,一旦苹果打专利战,安卓阵营胜算不大。


结构光方案深度相机应用场景比较单一,主要集中在 Face ID、动画表情、人脸光效人脸相关应用。未来可扩展应用空间有限。


结构光方案深度相机需要发射器和接收器之间保持一定的距离(基线),模组占用空间较大,这对于空间非常有限的手机来说是很大的劣势。


总之,结构光方案短时间内仍然掌握在苹果手中,安卓阵营话语权不大。发展空间有限。


2)飞行时间方案深度相机


飞行时间(Time Of Fly,简称 TOF)方案的深度相机在将来会有非常大的发展。和结构光方案相比,飞行时间方案有如下几点优势:


1)TOF 方案相对简单,产业链发展的比较成熟,如 LG Innotek、Sunny optics、O-Film等一线模组厂都能够提供高质量模组。


2)TOF 方案不需要发射器和接收器之间保持一定的基线,甚至基线为零都可以,因此其模组体积可以做的非常小。非常适合对空间要求苛刻的手机。


3)TOF方案可以通过发射功率控制使用范围,既适用于使用距离较近的前置三维人脸应用,也可以在使用距离较远的三维场景扫描、增强现实等领域使用,应用场景很丰富。

微信图片_20180725110641.jpg


ToF成像原理


因此,未来一两年内 TOF 方案很可能会成为手机深度相机发展的主流趋势。


4、多功能摄像头技术和其他图像技术的融合随着多摄像头与深度相机的使用,手机可获取到丰富的图像信息,通过将这些信息融合可以进一步提升暗光拍摄、逆光拍照、美颜、人像打光、HDR(高动态范围)等功能;另外,AI技术也将与其他技术一起整合,产生更好玩的拍摄功能,除了进一步提升 AI 解锁、AI场景识别、Animoji等功能,更多的人脸AR交互与体感交互将有可能是未来的主要方向。


本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。