基于GCN-Transformer和多尺度时间卷积的人体行为识别方法

本发明公开了基于GCN‑Transformer和多尺度时间卷积的人体行为识别方法，通过开源人体姿态估计框架OpenPose对视频流姿态估计得到关键点坐标数据，矩阵补齐；通过图处理模块处理成图数据结构，将数据处理成四个流态数据集；用GCN模块提取空间特征，用多尺度卷积模块提取时间维度信息；使用Transformer对时空全局关系建模；将以上三个模块组合成一个Block并堆叠形成识别网络模型；通过分类头部来输出模型的预测结果；训练优化网络参数，融合结果，得到最终复合神经网络和识别结果。本发明的人体行为识别方法，结合图卷积神经网络和Transformer神经网络，捕捉关节运动在时间和空间上的全局依赖关系，提高识别精度。