Janus：DeepSeek 打造的多模态理解与生成的解耦视觉编码框架
Janus：DeepSeek 打造的多模态理解与生成的解耦视觉编码框架Janus 是 DeepSeek AI 开发的一个先进的多模态理解和生成框架，它通过创新性地解耦视觉编码路径来应对多模态理解和生成任务之间的需求冲突。
来自主题: AI技术研报
7691 点击 2024-10-29 14:46
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Janus 是 DeepSeek AI 开发的一个先进的多模态理解和生成框架，它通过创新性地解耦视觉编码路径来应对多模态理解和生成任务之间的需求冲突。
我们提出了 Janus，一种基于自回归的多模态理解与生成统一模型。
罗盟，本工作的第一作者。新加坡国立大学（NUS）人工智能专业准博士生，本科毕业于武汉大学。主要研究方向为多模态大语言模型和 Social AI、Human-eccentric AI。
The Information近日爆出了一则OpenAI的亏损新闻，其中新增的关键数据包括： OpenAI目前单月收入约为2.83mnUSD，全年营收可能在35~45亿美金。 OpenAI 24年推理成本将达到40亿美金，训练成本将达到30亿美金。
如今的生成式AI在人工智能领域迅猛发展，在计算机视觉中，图像和视频生成技术已日渐成熟，如Midjourney、Stable Video Diffusion [1]等模型广泛应用。然而，三维视觉领域的生成模型仍面临挑战。
GPT-4V 的推出引爆了多模态大模型的研究。GPT-4V 在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力，成为如今最领先的多模态大模型。
扩散模型，迎来了一项重大新应用——像Sora生成视频一样，给神经网络生成参数，直接打入了AI的底层！
最近，来自NUS、斯坦福、谷歌DeepMind等机构的研究人员，尝试开发了一个评估人类和AI的创造力的框架。而当人类用尽所有手段来逼迫AI把创造力发挥到极限，发现GPT-4几乎对于所有事物认知的极限都是无尽的宇宙空间。
多模态大模型集成了检测分割模块后，抠图变得更简单了！
“AI 取代摄影”，或许真的在一步步靠近？这两日，一个名为 Magnific 的 AI 图像增强工具在外网似有冒头趋势。部分 AI 圈内的设计师第一时间得到了测试机会，并在 X 上分享了使用感受，其中不乏像 Linus Ekenstam 这样的 KOL 以及领英高级首席设计师 Armando Sotoca 这样的人物。