摘要
本发明提供一种基于多模态的测谎数据处理方法及系统，属于信息处理技术领域，包括：采集声音数据、微表情图像数据以及心率信号数据；对数据进行时间戳对齐，固定时间窗口提取数据，形成待测试数据集；对待测试数据集中的声音数据以及心率信号数据进行振幅归一化，并分别提取低频和中频段的频谱特征的能量谱数据特征；对待测试数据集中的微表情图像数据进行灰度化和面部区域分割，将图像转换为频域图像数据，并提取低频和中频段的能量谱数据特征；将各数据的低频和中频段的频谱特征的能量谱数据特征进行串联融合，输入训练后的CNN识别网络，获得测谎结果。该方法能够快速获取表征当前审讯人员状态的多模态数据特征，有效提升测谎识别结果。
