摘要
本发明公开一种基于深度神经网络模型的机器人避障方法及系统，包括：实时采集可见光图像与激光点云数据；利用训练好的多模态混合深度神经网络模型对采集的数据进行识别，得到可通行区域分割图、障碍物区域分割图以及障碍物类别标签及位置信息；实现避障路径规划。本发明通过可见光图像与激光点云数据的跨模态特征融合，结合自注意力融合编码与卷积解码技术，有效解决单一传感器在复杂环境中的识别缺陷，提升可通行域与障碍物识别的鲁棒性；利用多模态大模型推理能力，提升目标对象识别的准确性；基于多模态混合深度神经网络模型的像素级分割能力，实现对可通行区域与障碍物区域的精细化识别，分割准确率高，为路径规划提供精确的环境地图。
