一种基于多模态感知的可解释汉语对话评价与生成方法

本发明公开了一种基于多模态感知的可解释汉语对话评价与生成方法，包括：步骤一、通过摄像头采集学习者当前表情照片，基于Faster RCNN网络进行学习者情感识别；步骤二、进行知识点关注度的预测，在知识图谱中将关注度的节点提取出来，得到学习者的学习路径；步骤三、将学习者对知识点标记的掌握情况作为标签，并进行分类；步骤四、对学习者的当前属性进行分类；步骤五、通过公理模糊集隶属度函数计算汉语学习者的可解释评价；步骤六、利用预训练中文语言模型实现对话生成；步骤七、通过显示器可视化多模态对话评价。能够提供个性化对话练习机会，减轻教师和助教的工作量，为学习者提供实教条件。