半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。
来自主题: AI资讯
8374 点击 2024-03-19 11:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
谷歌刚刷新大模型上下文窗口长度记录，发布支持100万token的Gemini 1.5，微软就来砸场子了。
这两天，几乎整个AI圈的目光都被OpenAI发布Sora模型的新闻吸引了去。其实还有件事也值得关注，那就是Google继上周官宣Gemini 1.0 Ultra 后，火速推出下一代人工智能模型Gemini 1.5。
22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。
作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。
就在昨天，百川智能正式发布Baichuan2-Turbo系列API，192K的超长上下文窗口+搜索增强知识库，解决了困扰行业已久的大模型商用落地难问题。
EMNLP顶会落下帷幕，各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中，由北大孙栩老师和微信周杰、孟凡东合作指导。
我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。