Meta这次真的坐不住了，计划在AI上继续加码！匿名员工爆料，黑马DeepSeek的出现，让Llama 4还未发布就已经落后，Meta慌了。
「工程师正在疯狂地分析 DeepSeek，试图从中复制任何可能的东西。」DeepSeek 开源大模型的阳谋，切切实实震撼着美国 AI 公司。最先陷入恐慌的，似乎是同样推崇开源的 Meta。
2024又是AI精彩纷呈的一年。LLM不再是AI舞台上唯一的主角。随着预训练技术遭遇瓶颈，GPT-5迟迟未能问世，从业者开始从不同角度寻找突破。以o1为标志，大模型正式迈入“Post-Training”时代；开源发展迅猛，Llama 3.1首次击败闭源模型；中国本土大模型DeepSeek V3，在GPT-4o发布仅7个月后，用 1/10算力实现了几乎同等水平。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
因为 V3 版本开源模型的发布，DeepSeek 又火了一把，而且这一次，是外网刷屏。 训练成本估计只有 Llama 3.1 405B 模型的 11 分之一，后者的效果还不如它。
DeepSeek-v3大模型横空出世，以1/11算力训练出超过Llama 3的开源模型，震撼了整个AI圈。
让 Llama 2 在 Windows 98 奔腾 2（Pentium II）机器上运行，不但成功了，输出达到 39.31 tok / 秒。
IBM 正式发布了其新一代开源大语言模型 Granite 3.1，这是一组轻量级、先进的开源基础模型，支持多语言、代码生成、推理和工具使用，能够在有限的计算资源上运行。这一系列模型具备 128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。
OpenAI在LangSmith用户群中继续稳居最常使用的大语言模型供应商宝座，其使用率是排名第二的Ollama的六倍以上。开源模型的采用率有了显著增长，特别是Ollama和Groq两家公司，它们支持用户运行开源模型，并在今年成功跻身行业前五。
o1完整版公开仅10天，Scaling Law新范式就被逆向工程复现了！
