搜索
近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文《V-RAE: Rethinking Video Latent Spaces for Generation》中提出视频表征自编码器 V-RAE。该方法以冻结的视觉基础模型为编码器，通过轻量级时间池化压缩视频特征，并将具有丰富语义和时间连续性的表征直接用于视频重建、生成与未来预测。
在个性化视觉生成的实际应用中，通用视觉基础模型的表现往往难以满足精准需求。为实现高度定制化的生成效果，通常需对大模型进行针对性的自适应微调，但当前以 LoRA 为代表的主流方法，仍受限于定制化数据收集与冗长的优化流程，耗时耗力，难以在真实场景中广泛应用。
6月30日，上海交通大学医学院附属瑞金医院宣布，RuiPath病理大模型的视觉基础模型正式开源。
咱就是说啊，视觉基础模型这块儿，国产AI真就是上了个大分——Glint-MVT，来自格灵深瞳的最新成果。Glint-MVT，来自格灵深瞳的最新成果先来看下成绩——线性探测（LinearProbing）：
当前，所有主流的视觉基础模型（如 SigLIP、DINOv2 等）都仍然在低分辨率（如 384 * 384 分辨率）下进行预训练。对比人类视觉系统可以轻松达到 10K 等效分辨率，这种低分辨率预训练极大地限制了视觉模型对于高清细节的理解能力。
你是否注意过人类观察世界的独特方式？
在当今多模态领域，CLIP 模型凭借其卓越的视觉与文本对齐能力，推动了视觉基础模型的发展。CLIP 通过对大规模图文对的对比学习，将视觉与语言信号嵌入到同一特征空间中，受到了广泛应用。
DeepMind最近的研究提出了一种新框架AligNet，通过模拟人类判断来训练教师模型，并将类人结构迁移到预训练的视觉基础模型中，从而提高模型在多种任务上的表现，增强了模型的泛化性和鲁棒性，为实现更类人的人工智能系统铺平了道路。
等了半年，微软视觉基础模型Florence-2终于开源了。它能够根据提示，完成字幕、对象检测、分割等各种计算机视觉和语言的任务。网友们实测后，堪称「游戏规则改变者」。
视觉语言模型屡屡出现新突破，但ViT仍是图像编码器的首选网络结构。