AI资讯新闻榜单内容搜索-上下文

关键词: Grok1.5,128K,上下文,xAI,chatGPT,GPT-4

【新智元导读】马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。

关键词: Grok1.5,128K,上下文,xAI

马斯克搞大模型，速度也奇快。

关键词: 模型训练,token,上下文,AI学术

自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。

关键词: 32k上下文,Mistral 7B ,Mistral 7B v0.2,基模型,Mistral AI

刚刚，Mistral AI 的模型又更新了。 这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。

关键词: AI,AI大模型,Gemini,RAG,上下文

本文讨论了AI大模型的长上下文在生成式人工智能中的意义和影响。通过对Gemini 1.5和RAG技术的对比和分析，文章指出Gemini在处理长文档和长上下文方面表现出色，因此有人认为RAG技术已经过时。

关键词: 月之暗面,Kimi,国产大模型,超长上下文

半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。

关键词: NLP,清华NLP,InfLLM,超长上下文,token,模型训练

挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。

关键词: Llama-2,羊驼大模型,上下文限制,CEPE,并行编码上下文扩展

陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。

关键词: Gemini 1.5,LongRoPE,上下文,token

谷歌刚刷新大模型上下文窗口长度记录，发布支持100万token的Gemini 1.5，微软就来砸场子了。

关键词: Gemini 1.5,谷歌AI,多模态AI,超长上下文

这两天，几乎整个AI圈的目光都被OpenAI发布Sora模型的新闻吸引了去。其实还有件事也值得关注，那就是Google继上周官宣Gemini 1.0 Ultra 后，火速推出下一代人工智能模型Gemini 1.5。