在以 transformer 模型为基础的大模型中，键值缓存虽然用以存代算的思想显著加速了推理速度，但在长上下文场景中成为了存储瓶颈。为此，本文的研究者提出了 MILLION，一种基于乘积量化的键值缓存压缩和推理加速设计。
目前的视频生成技术大多是在短视频数据上训练，推理时则通过滑动窗口等策略，逐步扩展生成的视频长度。然而，这种方式无法充分利用视频的长时上下文信息，容易导致生成内容在时序上出现潜在的不一致性。
一句话看懂：o3以深度推理与工具调用能力领跑复杂任务，GPT-4.1超长上下文与精准指令执行适合API开发，而o4-mini则堪称日常任务的「性价比之王」。
OpenAI重磅发布的GPT-4.1系列模型，带来了编程、指令跟随和长上下文处理能力的全面飞跃！由中科大校友Jiahui Yu领衔的团队打造。与此同时，备受争议的GPT-4.5将在三个月后停用，GPT-4.1 nano则以最小、最快、最便宜的姿态强势登场。
今天在各大信息渠道看到 Llama4 发布的消息，一上来就放出三个模型，具体能力这里就不在赘述，相信大家已经多少看到不少介绍了。
长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
AI21Labs 近日发布了其最新的 Jamba1.6系列大型语言模型，这款模型被称为当前市场上最强大、最高效的长文本处理模型。与传统的 Transformer 模型相比，Jamba 模型在处理长上下文时展现出了更高的速度和质量，其推理速度比同类模型快了2.5倍，标志着一种新的技术突破。
LLM一个突出的挑战是如何有效处理和理解长文本。就像下图所示，准确率会随着上下文长度显著下降，那么究竟应该怎样提升LLM对长文本理解的准确率呢？
就在国内各家大模型厂商趁年底疯狂卷的时候，太平洋的另一端也没闲着。 就在今天，谷歌发布了 Gemini 2.0 Flash Thinking 推理模型的加强版，并再次登顶 Chatbot Arena 排行榜。
开源模型上下文窗口卷到超长，达400万token！ 刚刚，“大模型六小强”之一MiniMax开源最新模型—— MiniMax-01系列，包含两个模型：基础语言模型MiniMax-Text-01、视觉多模态模型MiniMax-VL-01。
