一种指向性手势和语言指令驱动的目标导航方法及其系统

本公开涉及一种指向性手势和语言指令驱动的目标导航方法及其系统，包括：根据获取的人体初始化图像计算人体指向性手势的方向；结合人体指向性手势的方向和全景深度图像构建局部多层地图，将其与全局多层地图融合，更新全局多层地图，并判断其中是否存在候选目标物体，选择动作执行位置，确定机器人当前位置与动作执行位置间的最短路径；按照最短路径到达动作执行位置，并执行动作；若执行探索动作，更新全局多层地图；若执行观察动作，通过判断当前位置图像与自然语言指令是否匹配，确定是否抵达目标导航终点；重复上述步骤，直至抵达目标导航终点。本公开方法提高了对目标导航中目标属性和空间关系定义的精确性，其泛化性更强、灵活性更高。