MiniMax震撼开源,突破传统Transformer架构,4560亿参数,支持400万长上下文
MiniMax震撼开源,突破传统Transformer架构,4560亿参数,支持400万长上下文「2025 年,我们可能会看到第一批 AI Agent 加入劳动力大军,并对公司的生产力产生实质性的影响。」——OpenAI CEO Sam Altman
来自主题: AI技术研报
7056 点击 2025-01-15 14:06
「2025 年,我们可能会看到第一批 AI Agent 加入劳动力大军,并对公司的生产力产生实质性的影响。」——OpenAI CEO Sam Altman
半年时间,月之暗面把 AI 模型支持的上下文长度提升了一个数量级,实现了 200 万字上下文的「无损压缩」。
挖掘大模型固有的长文本理解能力,InfLLM在没有引入额外训练的情况下,利用一个外部记忆模块存储超长上下文信息,实现了上下文长度的扩展。
这两天,几乎整个AI圈的目光都被OpenAI发布Sora模型的新闻吸引了去。其实还有件事也值得关注,那就是Google继上周官宣Gemini 1.0 Ultra 后,火速推出下一代人工智能模型Gemini 1.5。