统一多模态大模型（U-MLLMs）逐渐成为研究热点，近期GPT-4o，Gemini-2.0-flash都展现出了非凡的理解和生成能力，而且还能实现跨模态输入输出，比如图像+文本输入，生成图像或文本。
武汉大学等发布了一篇大型视觉语言模型（LVLMs）安全性的综述论文，提出了一个系统性的安全分类框架，涵盖攻击、防御和评估，并对最新模型DeepSeek Janus-Pro进行了安全性测试，发现其在安全性上存在明显短板。
就在除夕前的晚上（2025 年 1 月 27 日），Deepseek 发布了多模态模型 Janus-Pro-7B，该模型在图像生成和多模态理解方面都超过了OpenAI的DALL-E 3（虽然也一般般），我相信能文生图功能一定很优秀了，今天搞点特殊的，测试下图像理解能力对专业的医学影像有没有应用的可行性，以下是常见的五种医学影像测试。
梁文锋带领着DeepSeek，还在继续搅动大模型行业。继用R1模型炸场之后，1月28日凌晨，除夕夜前一晚，DeepSeek又开源了其多模态模型Janus-Pro-7B，宣布在GenEval和DPG-Bench基准测试中击败了DALL-E 3（来自 OpenAI）和Stable Diffusion。
DeepSeek大爆出圈，现在连夜发布新模型——多模态Janus-Pro-7B，发布即开源。在GenEval和DPG-Bench基准测试中击败了DALL-E 3和Stable Diffusion。
在多模态AI领域，基于预训练视觉编码器与MLLM的方法（如LLaVA系列）在视觉理解任务上展现出卓越性能。
Janus 是 DeepSeek AI 开发的一个先进的多模态理解和生成框架，它通过创新性地解耦视觉编码路径来应对多模态理解和生成任务之间的需求冲突。
我们提出了 Janus，一种基于自回归的多模态理解与生成统一模型。
