AI资讯新闻榜单内容搜索-视觉模型

关键词: MSRA,视觉模型,模型训练,AI

文生图、文生视频，视觉生成赛道火热，但仍存在亟需解决的问题。

关键词: CV,AI,patch,AI,视觉模型

下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。

关键词: 视觉模型,4M-21,多模态,模型训练

当前的多模态和多任务基础模型，如 4M 或 UnifiedIO，显示出有希望的结果。然而，它们接受不同输入和执行不同任务的开箱即用能力，受到它们接受训练的模态和任务的数量（通常很少）的限制。

关键词: 微软AI,Florence-2,视觉模型,Hugging Face

等了半年，微软视觉基础模型Florence-2终于开源了。它能够根据提示，完成字幕、对象检测、分割等各种计算机视觉和语言的任务。网友们实测后，堪称「游戏规则改变者」。

关键词: AI,LSTM,Vision-LSTM,AI视觉模型,视觉大模型

与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更胜一筹。

关键词: 扩散模型,视觉模型,vHeat,模型训练,AI学术

如何突破 Transformer 的 Attention 机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vHeat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于Attention机制的视觉模型， vHeat 同时兼顾了：计算复杂度（1.5次方）、全局感受野、物理可解释性。

关键词: 李飞飞,空间智能,视觉模型,BVS

在不久之前的 2024 TED 演讲中，李飞飞详细解读了 空间智能（Spatial Intelligence）概念。她对计算机视觉领域在数年间的快速发展感到欣喜并抱有极大热忱，并为此正在创建初创公司

关键词: HuggingFace,SOTA,AI视频,视觉模型,模型训练

前有OpenAI的GPT-4o，后有谷歌的系列王炸，先进的多模态大模型接连炸场。

关键词: AI天文,AI科研,智能计算,AI天气搜索,AI 视觉模型

我们知道，球状星团是一种受引力束缚，成员由几万颗到数百万颗恒星组成的古老星团，在外观上大多呈球形，但也有可能受其他天体系统的引力影响使得形状偏离球形。球状星团的动力学演化过程，星族合成路径等是当今天文学界的研究热点。

关键词: Sora,AI视频,openai,AGI

简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习图像视频数据和它体现出的模式，然后还可以直接用学习来的图像生成模型最能理解的方式，给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令，最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。