全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。
来自主题: AI技术研报
5141 点击 2024-03-07 14:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。
中国科技界针对大模型的态度已分裂成两股阵营。一股是技术信仰派，他们大多技术出身，认为应该像OpenAI一样信仰AGI、信仰scaling law（规模定律），
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。
Stability AI放出了号称能暴打闭源模型的Stable Diffusion 3的技术报告，采用DiT构架的新模型在灵活性和性能上都达到了新的高度。
AI 研究走过的最大弯路，就是过于重视人类既有经验和知识。
在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，
OpenAI这家AI初创公司，是历史上增长最快的公司之一，但它商业模式的长期可行性，仍然存在疑问。烧光现金流之前，OpenAI能交出怎样答卷？
谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型，能够完成各种屏幕QA问答、总结摘要等任务。
现在，马斯克起诉OpenAI案的最大未解之谜，就集中在了「Ilya究竟看到了什么」上。他看到的东西，让OpenAI大震荡，所有模型推出计划被削弱和延期。最近网上曝出的一份53页PDF，就透露了Q*的许多重大细节：125万亿参数，去年12月已训完。但马斯克这么一闹，恐怕Q*面世的时间还要大大延迟。