基于RGB-D传感芯片与边缘控制的三维唇语识别鲁棒性研究
集成电路应用
王祎荣，杨瑞锋，高志轩，李浩铭，刘伟博
沈阳理工大学机械工程学院
摘要： 针对RGB唇语识别在暗光和大角度偏转下性能退化的问题，该文围绕RGB-D传感芯片、FPGA-ARM控制与识别算法的协同链路,量化深度几何信息的贡献开展研究。RGB-D模组同步输出彩色、深度及标定信息，FPGA-ARM完成统一触发、双缓冲、DMA搬运与环境状态封装，识别端依据照度、姿态及深度有效点率实施跨模态加权和深度支路门控，从而把传感数据质量、控制时序与算法决策联结为闭环。实验装置集成RGB CMOS、主动红外深度单元、FPGA-ARM控制板、照度闭环模块和姿态转台，基于20名说话人、3种光照和3种偏转角度构建18000个RGB-D样本。结果表明，正常正面条件下RGB-D模型较纯RGB模型提高6.8个百分点；50 lux暗光叠加60°偏转时，准确率由41.2%提升至72.5%，增益31.3个百分点。结果说明复杂环境下系统鲁棒性不仅来自RGBD算法，还依赖双模态同步、有效深度供给与端侧门控的协同。该文据此提出RGB-D感知、FPGA-ARM控制与边缘识别的架构级协同链路。
中图分类号：TP391.41文献标识码：ADOI:10.19339/j.issn.1674-2583.2026.06.004
中文引用格式：王祎荣，杨瑞锋，高志轩,等. 基于RGB-D传感芯片与边缘控制的三维唇语识别鲁棒性研究［J］.集成电路应用，2026，43（6）：20-25.
英文引用格式：Wang Yirong, Yang Ruifeng, Gao Zhixuan, et al. Research on robustness of 3-D lip reading based on RGB-D sensor chips and edge control［J］.Application of IC，2026，43（6）：20-25.
中文引用格式：王祎荣，杨瑞锋，高志轩,等. 基于RGB-D传感芯片与边缘控制的三维唇语识别鲁棒性研究［J］.集成电路应用，2026，43（6）：20-25.
英文引用格式：Wang Yirong, Yang Ruifeng, Gao Zhixuan, et al. Research on robustness of 3-D lip reading based on RGB-D sensor chips and edge control［J］.Application of IC，2026，43（6）：20-25.
Research on robustness of 3-D lip reading based on RGB-D sensor chips and edge control
Wang Yirong, Yang Ruifeng, Gao Zhixuan, Li Haoming, Liu Weibo
School of Mechanical Engineering, Shenyang Ligong University
Abstract： Addressing the performance degradation of RGB lip reading under low-light and large-angle deflection conditions, this paper evaluates the contribution of depth geometry within a coordinated RGB-D sensor chip, FPGA-ARM control, and recognition chain. The RGB-D module synchronously outputs color, depth, and calibration data; the FPGA-ARM controller performs unified triggering, dual buffering, DMA transfer, and environment-state packaging; and the recognition side adjusts cross-modal weights and depth-branch gating according to illuminance, pose, and valid-depth ratio, thereby linking sensing quality, control timing, and algorithmic decisions into a close loop. The experimental setup integrated an RGB CMOS, an active infrared depth unit, an FPGA-ARM control board, a closed-loop illuminance module, and a pose turntable.
Key words : 3-D lip reading; RGB-D sensor chip; depth geometry; synchronous control; edge computing
引言
视觉语音识别适用于无声交互、听障辅助和噪声通信。现有方法多以二维RGB视频为输入，利用卷积网络或视觉Transformer学习唇部纹理与时序特征［1-3］。但RGB成像芯片对照度、阴影和曝光敏感，大角度偏转还会造成口型压缩、遮挡与投影形变。采集端一旦丢失几何信息，增加神经网络复杂度也难以补偿。
RGBD模组集成RGB CMOS、主动红外发射、红外接收阵列和深度解算电路，可输出像素级距离。深度点云能够表达闭合、前突和唇齿接触等三维动作，且受可见光纹理影响较小。识别效果还受时钟同步、接口带宽、缓存、照明和姿态控制影响，因此需在“传感芯片—采集控制—边缘计算”链路中评价算法：传感芯片决定RGB与深度数据的可用性，FPGAARM决定双流同步、缓存与数据搬运的稳定性，识别算法再依据照度、姿态及深度有效点率调整模态权重，并将权重变化转化为支路门控信号。本文不把唇语识别算法作为孤立对象，而是验证硬件装置在不同光照与姿态条件下的稳定性，量化深度模态的净增益，分析传感质量、FPGAARM控制状态与双流网络注意力迁移之间的对应关系，为集成传感、边缘控制和识别计算的协同设计提供依据。
本文详细内容请下载：
https://www.chinaaet.com/resource/share/2000007277
投稿邮箱：ICAPP@belling.com.cn
作者信息：
王祎荣，杨瑞锋，高志轩，李浩铭，刘伟博
(沈阳理工大学机械工程学院，辽宁沈阳110159)
此内容为AET网站原创，未经授权禁止转载。