一种基于RGB与骨骼点双通道的独立手语识别方法及系统

一种基于RGB与骨骼点双通道的独立手语识别方法及系统，属于深度学习图像处理及视频识别技术领域。本发明使用采集的手语视频提取骨骼点视频，根据骨骼点视频剔除多余部分，构建了基于RGB和骨骼点双通道的手语识别模型，将手语视频和骨骼点视频输入模型，使用一维卷积提取时间特征，使用二维卷积提取空间特征，将双通道的时间特征、空间特征融合后进行分类识别。双通道输入增强了模型对手语动作的理解，有效减少手语者不同、光照和背景等因素对识别过程的影响，且能通过骨骼点视频判断手势的开始和结束，提升了手语识别的准确性。此外，本发明将三维卷积网络拆分为一维卷积网络和二维卷积网络，降低了模型参数，提升了手语识别的实时性。