自动驾驶场景中面向模态缺失的多车协同感知方法

本发明提出一种自动驾驶场景中面向模态缺失的多车协同感知方法，能够在模态缺失时保持稳健的3D目标检测性能。本方法采用多模态特征对齐策略消除激光雷达和相机的BEV特征在格式和维度上的差异，提升融合效果；为增强模型在模态缺失时的适应性，采用跨模态可变形注意力层使模态特定的线性层更好地适应数据变化，并利用自注意力捕捉特征间的长距离依赖关系。最后，通过评估车辆状态和信誉值筛选高信誉邻居，采用多头注意力的多车协同感知策略，以平衡感知精度与推理效率。大量模拟和实车实验结果表明，所提方法在激光雷达或相机缺失时分别提升了7.73％和6.78％的AP@0.5，显著优于现有基准方法。