香港中文大学提出了一个全新的算法框架RankSEG，用于提升语义分割任务的性能。传统方法在预测阶段使用threshold或argmax生成掩码，但这种方法并非最优。RankSEG无需重新训练模型，仅需在推理阶段增加三行代码，即可显著提高Dice或IoU等分割指标。
东北大学、武汉大学等的研究人员首次提出统一处理图像与视频的无监督领域自适应语义分割框架，通过四向混合机制（QuadMix）和光流引导的时空聚合模块，有效缩小跨域差异，显著提升模型性能，刷新多项基准记录。该方法不仅解决了图像与视频任务割裂的问题，还为未来多模态感知系统奠定了基础。
本文将为大家介绍CVPR 2024 Highlight的论文LangSplat: 3D Language Gaussian Splatting（三维语义高斯泼溅）。LangSplat在开放文本目标定位和语义分割任务上达到SOTA性能。在1440×1080分辨率的图像上，查询速度比之前的SOTA方法LERF快了199倍。代码已开源。
近年来，「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用，通过大规模训练得到的视觉基础网络（如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等）已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。
现有的语义分割技术在评估指标、损失函数等设计上都存在缺陷，研究人员针对相关缺陷设计了全新的损失函数、评估指标和基准，在多个应用场景下展现了更高的准确性和校准性。
用多模态大模型来做语义分割，效果有多好？一张图+文字输入想分割的物体，大模型几秒钟就能识别并搞定！
