2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
现在，人人都可以利用开源模型，打造量身定制的AI助手了。
艾伦人工智能研究所等5机构最近公布了史上最全的开源模型「OLMo」，公开了模型的模型权重、完整训练代码、数据集和训练过程，为以后开源社区的工作设立了新的标杆。
Mistral-Medium竟然意外泄露？此前仅能通过API获得，性能直逼GPT-4。
Mixtral 8x7B模型开源后，AI社区再次迎来一大波微调实践。来自Nous Research应用研究小组团队微调出新一代大模型Nous-Hermes 2 Mixtral 8x7B，在主流基准测试中击败了Mixtral Instruct。
1月17日，新一代大语言模型书⽣·浦语2.0（InternLM2）正式发布并开源。2种参数规格、3种模型版本，共计6个模型，全部免费可商用。
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。
在 AI 领域，近年来各个子领域都逐渐向 transformer 架构靠拢，只有文生图和文生视频一直以 diffusion + u-net 结构作为主流方向。diffusion 有更公开可用的开源模型，消耗的计算资源也更少。
谷歌发布Gemini以后，一直宣称Gemini Pro要优于GPT-3.5，而CMU的研究人员通过自己实测，给大家来了一个客观中立第三方的对比。结果却是GPT-3.5几乎还是全面优于Gemini Pro，不过双方差距不大。
开源模型终于开始超越GPT-4了。
