AI资讯新闻榜单内容搜索-Token

关键词: 大模型,token,chatGPT,先知,先知AI,先知大模型

太快了太快了…

关键词: Mamba,混合大模型,开源大模型,Transformer,token

【新智元导读】52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。

关键词: Mamba,混合大模型,开源大模型,Transformer,token

Mamba时代来了？

关键词: Latte,Dit,Sora,模型训练,Token

随着 Sora 的成功发布，视频 DiT 模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点。DiT [1] 的成功为图像生成的规模化提供了可能性。

关键词: 模型训练,token,上下文,AI学术

自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。

关键词: token,向量数据库,RAG,Claude 3,Gemini 1.5

“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？”

关键词: bGPT,token,字节极模型,微软模型,模型训练

微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。

关键词: NLP,清华NLP,InfLLM,超长上下文,token,模型训练

挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。

关键词: Gemini 1.5,LongRoPE,上下文,token

谷歌刚刷新大模型上下文窗口长度记录，发布支持100万token的Gemini 1.5，微软就来砸场子了。

关键词: chatGPT,openai,token

ChatGPT突然失去理智，被网友们吵翻了天。许多用户在请求ChatGPT问题时，发现它开始胡言乱语，大篇重复。不一会儿，OpenAI给出官方解释：下一token概率预测相关，目前bug已修复。