AI资讯新闻榜单内容搜索-语义分割

关键词: LangSplat,AI视频,大模型,CLIP,模型训练

本文将为大家介绍CVPR 2024 Highlight的论文LangSplat: 3D Language Gaussian Splatting（三维语义高斯泼溅）。LangSplat在开放文本目标定位和语义分割任务上达到SOTA性能。在1440×1080分辨率的图像上，查询速度比之前的SOTA方法LERF快了199倍。代码已开源。

关键词: AI视觉,模型训练,scaling,EfficientTrain++,AI算法

近年来，「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用，通过大规模训练得到的视觉基础网络（如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等）已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。

关键词: 大模型训练,语义分割

现有的语义分割技术在评估指标、损失函数等设计上都存在缺陷，研究人员针对相关缺陷设计了全新的损失函数、评估指标和基准，在多个应用场景下展现了更高的准确性和校准性。

关键词: 多模态大模型,APE,视觉基础模型

用多模态大模型来做语义分割，效果有多好？一张图+文字输入想分割的物体，大模型几秒钟就能识别并搞定！