2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
全新GPT-4 Turbo预览模型据介绍，该模型能更完整彻底地完成代码生成等任务，以减少模型未完成任务的“惰性”情况。
外媒曝出谷歌2024年公司目标：做全球最强AI，同时要再裁更多的员工。网友吐槽，CEO拿巨额工资，产品无故取消，却只知道开人。
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。
近年来，随着Transformer模型的大规模发展和应用，模型大小每两年平均增长240倍，GPT-3等大模型的参数增长已经超过了GPU内存的增长。在大算力激增的需求下，越来越多行业人士认识到，新的计算架构或许才是算力破局的关键。
ChatGPT-3.5 发布于 2023 年 3 月 1 日，短短一年内，AI 已经变成几乎所有科技公司都关注的话题，并且涌现了不少大模型。
谷歌放出的Gemini，在对标GPT的道路上似乎一直处于劣势，Gemini真的比GPT-4弱吗？最近，斯坦福和Meta的学者发文为Gemini正名。
谷歌发布Gemini以后，一直宣称Gemini Pro要优于GPT-3.5，而CMU的研究人员通过自己实测，给大家来了一个客观中立第三方的对比。结果却是GPT-3.5几乎还是全面优于Gemini Pro，不过双方差距不大。
相比GPT-3，GPT-4 （包括GPT-3.5） 的能力有了非常巨大的进步。这背后其实得益于一个很重要的过程引入：微调。
Gemini Pro API今天上线即免费，开发者可以通过Vertex AI定制自己的Gemini。同时，Gemini也将支持谷歌的AI代码助手——Duet AI。
