AI资讯新闻榜单内容搜索-token

关键词: 模型训练,token,上下文,AI学术

自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。

关键词: 零一万物,GPT-4V,多模态中文模型,多模态

国产大模型独角兽送福利来了，千万token免费用！最近，零一万物API正式开放，三款模型都非常能打，开发者们赶快来开箱吧。零一万物API开放平台，正式向开发者开放了！

关键词: token,向量数据库,RAG,Claude 3,Gemini 1.5

“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？”

关键词: bGPT,token,字节极模型,微软模型,模型训练

微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。

关键词: NLP,清华NLP,InfLLM,超长上下文,token,模型训练

挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。

关键词: Llama-2,羊驼大模型,上下文限制,CEPE,并行编码上下文扩展

陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。

关键词: Gemini 1.5,LongRoPE,上下文,token

谷歌刚刷新大模型上下文窗口长度记录，发布支持100万token的Gemini 1.5，微软就来砸场子了。

关键词: chatGPT,openai,token

ChatGPT突然失去理智，被网友们吵翻了天。许多用户在请求ChatGPT问题时，发现它开始胡言乱语，大篇重复。不一会儿，OpenAI给出官方解释：下一token概率预测相关，目前bug已修复。

关键词: Llama2,AI推理芯片,GPU,Groq

这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒500tokens大模型生成，感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff，让不少人直呼：英伟达要被碾压了……

关键词: Karpathy,GPT Tokenizer,token,分词器

技术大神卡帕西离职OpenAI以后，营业可谓相当积极啊。