从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。
ChatGPT、OpenAI这两个名字无疑是2023年科技圈最为炙手可热的存在，但投入AI大模型赛道的显然远远不止OpenAI一家，例如谷歌有Gemini、Meta有开源的Llama 2、亚马逊也有Titan。
在近日举办的 CES 2024 展上，基于大型行为模型（Large Action Model, LAM）研发下一代操作系统的 AI 公司 Rabbit 推出了一款手掌大小的 AI 智能设备 —Rabbit R1，售价 199 美元。该公司创始人兼 CEO 为渡鸦科技创始人吕骋。
LAMM (Language-Assisted Multi-Modal) 旨在建设面向开源学术社区的多模态指令微调及评测框架，其包括了高度优化的训练框架、全面的评测体系，支持多种视觉模态。
爆火社区的Mixtral 8x7B模型，今天终于放出了arXiv论文！所有模型细节全部公开了。
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。
Vista-LLaMA 在处理长视频内容方面的显著优势，为视频分析领域带来了新的解决框架。
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。
华为盘古系列，带来架构层面上新！量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。
混合专家模型（MoE）成为最近关注的热点。
