一种基于知识图谱的多模态习题表征方法

本发明公开了一种基于知识图谱的多模态习题表征方法，涉及多模态表征技术领域，包括：获取多模态信息的数学习题信息以及相关知识点，提取多模态习题涉及的所有元素；提取多模态习题的图像和文本特征；基于表层理解规则，明确习题文本和图片中各元素之间的空间关系，并构建表示表层信息的知识图谱；基于隐层理解的规则，将习题涉及的相关定理和公式转化为形式化语言，并构建表示隐层信息的知识图谱；将表示表层信息和表示隐层信息的知识图谱融合为表示完整的习题信息的知识图谱；基于表示不同习题信息的知识图谱节点和边，计算习题之间的相似度和困难度及文本知识图谱和图像知识图谱的匹配度；基于自动解题模型，获得习题的深度表征。