NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平，其在纯文本性能甚至超过了LLM骨干模型，特别是在文本数学和编码基准测试中，平均准确率提高了4.3个百分点。
北京时间 9 月 13 日午夜，OpenAI 发布了推理性能强大的 ο1 系列模型。之后，各路研究者一直在尝试挖掘 ο1 卓越性能背后的技术并尝试复现它。当然，OpenAI 也想了一些方法来抑制窥探，比如有多名用户声称曾试图诱导 ο1 模型公布其思维过程，然后收到了 OpenAI 的封号威胁。
元象XVERSE发布中国最大MoE开源模型：XVERSE-MoE-A36B，该模型总参数255B，激活参数36B，达到100B模型性能的「跨级」跃升。
小型创业团队打造的“最强开源模型”，发布才一周就被质疑造假——
本文出自启元世界多模态算法组，共同一作是来自清华大学的一年级硕士生谢之非与启元世界多模态负责人吴昌桥，研究兴趣为多模态大模型、LLM Agents 等。本论文上线几天内在 github 上斩获 1000+ 星标。
Meta的开源大模型Llama 3在市场上遇冷，进一步加剧了大模型开源与闭源之争的关注热度。
发布40天后，最强开源模型Llama 3.1 405B等来了微调版本的发布。但不是来自Meta，而是一个专注于开放模型的神秘初创Nous Research。
大语言模型 (LLM) 经历了重大的演变，最近，我们也目睹了多模态大语言模型 (MLLM) 的蓬勃发展，它们表现出令人惊讶的多模态能力。 特别是，GPT-4o 的出现显著推动了 MLLM 领域的发展。然而，与这些模型相对应的开源模型却明显不足。开源社区迫切需要进一步促进该领域的发展，这一点怎么强调也不为过。
只是换掉Transformer架构，立马性能全方位提升，问鼎同规模开源模型！
不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。
