
大模型进入千万上下文时代,意味着什么?
大模型进入千万上下文时代,意味着什么?今天在各大信息渠道看到 Llama4 发布的消息,一上来就放出三个模型,具体能力这里就不在赘述,相信大家已经多少看到不少介绍了。
来自主题: AI资讯
5720 点击 2025-04-07 09:51
今天在各大信息渠道看到 Llama4 发布的消息,一上来就放出三个模型,具体能力这里就不在赘述,相信大家已经多少看到不少介绍了。
「2025 年,我们可能会看到第一批 AI Agent 加入劳动力大军,并对公司的生产力产生实质性的影响。」——OpenAI CEO Sam Altman
曾几何时,LLM还是憨憨的。 脑子里的知识比较混乱,同时上下文窗口长度也有限。 检索增强生成(RAG)的出现在很大程度上提升了模型的性能。
半年时间,月之暗面把 AI 模型支持的上下文长度提升了一个数量级,实现了 200 万字上下文的「无损压缩」。
挖掘大模型固有的长文本理解能力,InfLLM在没有引入额外训练的情况下,利用一个外部记忆模块存储超长上下文信息,实现了上下文长度的扩展。
这两天,几乎整个AI圈的目光都被OpenAI发布Sora模型的新闻吸引了去。其实还有件事也值得关注,那就是Google继上周官宣Gemini 1.0 Ultra 后,火速推出下一代人工智能模型Gemini 1.5。