《电子技术应用》
您所在的位置:首页 > 模拟设计 > 业界动态 > 斯坦福研发4D摄像头 强化光场摄像机画面及视场效果

斯坦福研发4D摄像头 强化光场摄像机画面及视场效果

2017-08-14
关键词: 4D摄像头 斯坦福

  据外媒报道,斯坦福大学及加州大学圣地亚哥分校(University of California San Diego,UCSD)研发了一款单中心透镜(monocentric lens),并将该透镜与多个采用了微透镜阵列(microlens array)的感器相连,大幅提升了光场(light field,LF)所能捕获的视场(field of view,FOV)——该款摄像头能生成4D影像,可捕获138°视场范围内的信息。

1502710329596914.jpg

  该摄像头被用于首款采用单镜头、宽视场(也有译为“广视域”,wide field of view)的光场摄像机中,可产生信息丰富的影像及视频帧,进而使机器人能更好地执行全球导航并了解物距(object distance)及表面纹理(surface texture)等特定环境信息。据研究人员预计,未来该项技术将被应用于自动驾驶车辆中并强化其性能。此外,该项技术还将被用于虚拟现实(VR)技术。研究人员在今年7月举办的2017计算机视觉与模式识别会议(CVPR 2017)上展示了该项新技术。

  据斯坦福大学电气工程学教授Gordon Wetzstein透露:“对计算机视觉应用的拓展而言,光场捕获及处理能力发挥着重要的作用,可提供丰富的纹理、深度信息(depth information),简化任务的复杂程度。尽管光场摄像头已实现商业化应用,但当前的设备尚无法提供宽视场影像,这是由于其在一定程度上受限于鱼眼透镜(fisheye lenses),从根本上讲,后者的入瞳直径(entrance pupil diameter)受限,进而严重制约了深度灵敏度(depth sensitivity)。”

1502710329757398.jpg

  他还表示:“在这项研究中,我们谈到了一款全新紧凑型光学设计,将单中心透镜与多个采用了微透镜阵列的传感器相连接,将光场摄像头的视场捕获能力提升到空前水平。得益于优异的光场表现能力,研究团队提出了一套全新的方法,高效地实现了球面透镜(spherical lens)与平面传感器(planar sensors)的连接,取代了价格高昂、体积庞大的纤维束(fiber bundles)。”

  该团队制作了一部单传感器光场摄像机样机,旋转与固定式主透镜相对的传感器,进而模拟宽视场的多传感器情境。最终,该团队还谈到了一套处理工具链(processing toolchain),其中包括:一款实用的球面光场参数设定。此外,该团队还论证了关于室内及室外全景(indoor and outdoor panoramas with)的深度估算(depth estimation)及捕获后重新聚焦(post-capture refocus),其4D影像的像素值为15 × 15 × 1600 × 200(72 MPix),视场为138°。

  Gordon Wetzstein教授与加州大学圣地亚哥分校的电气工程学教授Joseph Ford开展合作,共同推动该研究项目。加州大学圣地亚哥分校的研究人员设计了一款球面镜,可为该摄像头提供极宽的视场,其视场涵盖了摄像头周边近三分之一的区域。

  Ford教授所带领的团队早前参与了美国国防部高级研究计划局(DARPA)的“SCENICC”计划并研发了一款球面镜,旨在打造一款紧凑型视频摄像头,该产品可捕获360度高清全景影像,各视频帧数可达1.25亿像素量(125 megapixels)。在该项目中,光导纤维束(fiber optic bundles)所用视频摄像头将球面影像与传统的平面影像焦点平面(flat focal planes)相结合,进而提升其画面性能,但其成本较高。

1502710329651222.jpg

  Dansereau教授

  新款摄像头采用了一种球面透镜,可借助小晶体及数字信号处理来消除纤维束。Ford教授实验室的光学设计与系统集成硬件技术与Wetzstein实验室的信号处理及算法技术的结合产生了一套数字化方案,在产生极宽的影像的同时提升其图片分辨率。

  该款摄像头还依赖于斯坦福大学研发的光场摄影(light field photography)技术,可提供4D影像。该款摄像头可捕获射向透镜的双轴线方向的光线,并将该光照信息与2D影像相结合。光场摄影的另一项特点是在捕获影像后可对影像重新聚焦,因为该影像包括光源位置及光源方向(light position and direction)。机器人或将采用该项技术,使其视野不受雨水及其他遮挡物的影响。

  该款摄像头像常规摄像头一样,能够远距离运行,其设计旨在提升特写影像(close-up images)的品质。作为虚拟现实系统的一部分,其深度信息或将生成更多的现实场景的无缝效果图,以便更好地为实现这类场景与虚拟部件的一体化提供支持。

  目前,该款摄像头处于概念验证阶段,该团队计划了制作一款紧凑型样机,用于在机器人上进行测试。该研究由美国国家科学基金会(NSF)/英特尔视觉及体验运算伙伴项目(Intel Partnership on Visual and Experiential Computing)提供资金。


本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。