Janus 是 DeepSeek AI 开发的一个先进的多模态理解和生成框架，它通过创新性地解耦视觉编码路径来应对多模态理解和生成任务之间的需求冲突。
来自主题: AI技术研报
2909 点击 2024-10-29 14:46
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Janus 是 DeepSeek AI 开发的一个先进的多模态理解和生成框架，它通过创新性地解耦视觉编码路径来应对多模态理解和生成任务之间的需求冲突。
PUMA（emPowering Unified MLLM with Multi-grAnular visual generation）是一项创新的多模态大型语言模型（MLLM），由商汤科技联合来自香港中文大学、港大和清华大学的研究人员共同开发。它通过统一的框架处理和生成多粒度的视觉表示，巧妙地平衡了视觉生成任务中的多样性与可控性。
原生多模态大模型性能瓶颈，迎来新突破！ 上海AI Lab代季峰老师团队，提出了全新的原生多模态大模型Mono-InternVL。 与非原生模型相比，该模型首个单词延迟最多降低67%，在多个评测数据集上均达到了SOTA水准。
北京大学的研究人员开发了一种新型多模态框架FakeShield，能够检测图像伪造、定位篡改区域，并提供基于像素和图像语义错误的合理解释，可以提高图像伪造检测的可解释性和泛化能力。
西安电子科大、上海AI Lab等提出多模态融合检测算法E2E-MFD，将图像融合和目标检测整合到一个单阶段、端到端框架中，简化训练的同时，提升目标解析性能。 相关论文已入选顶会NeurlPS 2024 Oral，代码、模型均已开源。
两位清华校友，在OpenAI发布最新研究—— 生成图像，但速度是扩散模型的50倍。 路橙、宋飏再次简化了一致性模型，仅用两步采样，就能使生成质量与扩散模型相媲美。
我们提出了 Janus，一种基于自回归的多模态理解与生成统一模型。
OpenAI前首席科学家、联合创始人Ilya Sutskever曾在多个场合表达观点： 只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能（AGI）。
OpenAI 前首席科学家、联合创始人 Ilya Sutskever 曾在多个场合表达观点：只要能够非常好的预测下一个 token，就能帮助人类达到通用人工智能（AGI）。
多模态生成新突破，字节&华师团队打造TextHarmony，在单一模型架构中实现模态生成的统一，并入选NeurIPS 2024。