SuperToF™——物理感知时代的来临
2019-02-19
作者:麦姆斯咨询殷飞
SuperToF™精细人脸成像
在国内主流手机厂商争相搭载飞行时间(ToF)摄像头的手机发布同时,国际主流手机厂商也纷纷传出2019年旗舰手机将搭载ToF传感器的消息,国际ToF产业链从感光元件到摄像头模组各大厂商也在频频联合,取对方长处以补充自身的不足,我们看到ToF技术在2018年抢而不火的景象,究其原因:在硬件逐渐小型化的今天,硬件快速无缝衔接与关键感知处理技术的缺失,拖慢了ToF普及化的进程。
据麦姆斯咨询报道,来自香港的光云科技(HKShiningCloud)凭借积累了多年的3D识别感知技术顺势而为,全力打造SuperToF?产品系列,为ToF模组在手机、机器人、物联网(IoT)等行业的应用,提供了一把“利刃”。SuperToF? Mobile,为ToF方案公司和手机制造业构建了一条“快速绿色通道”,ToF方案公司无需经过完整的数据处理分析这一技术门槛,只需打磨自己的光学器件和优化封装等,即可快速且准确地切入产业链,而从信号处理到ToF应用,都可以得到一个理想的结果,SuperToF?的面世为ToF移动的普及全面赋能,并为产业爆发提供了可行路径。
据了解,香港光云科技致力于将SuperToF?赋能物理感知知识集,遵行并参与国际电信联盟电信标准分局(ITU-T)和国际标准化组织动态图象专家组(MPEG)点云及沉浸式媒体相关的国际标准,主要聚焦ToF-3D芯片、ToF-3D动态影像重建及识别、ToF-3D智能视觉、5G-3D应用,提供ToF的AP指令授权与芯片产品及服务。
如上图所示,SuperToF?是一套连接OS与ToF的硬件层,针对ToF信号的优化、ToF质量提升、使用安全检测、算法优化加速等功能而构建的一套硬件加速指令集。针对现有ToF传感器在实际应用中遇到的问题:例如在强光环境下的噪声、黑色物体的检测、透明玻璃覆盖以及ToF硬件噪声等问题,SuperToF?产品系列已经打通了从硬件的光信号到分析应用的全通路。能够全面帮助传感器厂、模组厂、手机厂完成ToF信号优化、ToF模组校准、提供ToF-3D应用基础特性,同时也提供高级的特性,例如:SuperZoom、透明成像、探测识别、精细3D手势识别、单反3D高画质成像等。
下图展示了5m-0.005m的SuperZoom:
SuperZoom 5m树与5mm树枝均可清晰呈现
轻薄的首选
据了解,基于多年在信号成像及3D图像领域的世界前沿技术积累,香港光云科技潜心技术积淀,以敏锐的学术洞察力及领悟力,已经在ToF技术的应用算法上,达到了行业全球领先的水平。SuperToF?一个显著的特性就是大幅度提升了空间点云数据的“有效性”,利用SuperToF?有效降低了ToF信号的硬件噪声,可实现高达90.24%的噪声抑制,进而提升ToF CMOS接收到像素的有效性。如图所示:与苹果的结构光方案比,相同像素水平上,结果的像素密度及细节呈现明显优于结构光。
SuperToF 38k VS. APPLE 30k 结构光[1]
经测试,以英飞凌(Infineon)REAL3?深度传感器(depth sensing imagers)38k像素的ToF上的实验为例,其结果明显优于某公司307k像素的ToF的效果,这让行业内人士重新审视ToF的高分辨率与点云有效性之比的权重。
手机的轻薄对ToF芯片的大小提出苛刻的要求,SuperToF?实现了对点云数据的“有效性”提升,降低了对ToF芯片的要求,真正为手机的轻薄提供了全面支持。SuperToF?单反3D高画质成像集中ToF的全面优势,可同步RGB 摄像头,全面动态模拟大光圈的效果,实现高画质感知体验,同时还可降低摄像头模组设计的复杂性。
据介绍,SuperToF?完成了移动端的迁移和优化测试,已在高通骁龙平台上完成实时建模及空间测量:可准确锁定目标,准确显示测量的数据。结果显示,比ARKit和ARCore都有质的显著提升。SuperToF?轻量化的解决方案应用也为AR Glasses的视觉模组方案提供了更优的选择,目前完成小型化硬件的快速建模、AR和3D精细手势交互等的移动方案,已逐步开放给友商进行产品测试。
让ToF全面赋能,感知世界
香港光云科技目前与知名ToF传感器厂商全面合作,对移动设备前置及后置的ToF模组及规模应用进行前瞻性的开发,已得到国内主流手机厂商的认可并展开合作。并与著名移动芯片IP公司合作SuperToF?相关指令集,有望2019年在手机上进行规模应用。现正将ToF指令集内置到移动芯片中,以“令SuperToF? Inside”的方式呈现给终端消费者更多精彩的感知应用。同时与香港电影制作公司展开研发感知联动的摄像机,实现空间的快速理解与高精度结构,方便电影后期的精确再制作,并把电影的高画质体验带入消费电子。
同时在机器人、新零售、广告推广、设计及打印等领域确认了产品试点大客户,为了服务和扶持更多产业的感知革命,香港光云科技将与ToF行业共同构建一个应用生态,让更多的行业人才看到ToF的精彩之处,结合其在本身行业的从业经验,让ToF技术对物理感知科技发展起到一个催化剂的作用。
香港光云科技CEO谢永明指出:“在5G时代,点云数据将成为其主要的流量模式,同时也将带来整个时代的变革,其点云数据的创新应用都将成为接下来的‘风口’,由人工智能、视觉智能向物理感知智能的广阔提升,形成全新的数据:物理感知知识集。手机等移动设备的感知升级后,不但互动起来更加真实与鲁棒,互动行为也可以更加复杂化,以前很多不可能完成的动作将变成可能,让我们充分体验物理感知的魔力”。
谢永明还表示,香港光云科技现正面向ToF传感器、摄像头模组、手机等厂家的产品进行SuperToF?的规模化应用测试,SuperToF?让ToF易于部署,同时可协助产业及用户做到“三减”:针对双摄/多摄搭载ToF摄像头减少硬件成本;针对移动设备更轻更薄的要求减少 ToF 相关产品的体积;减少用户及开发者的学习与开发时间。公司的愿景是“让ToF全面赋能,感知世界”。