AI资讯新闻榜单内容搜索-Token

关键词: token,向量数据库,RAG,Claude 3,Gemini 1.5

“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？”

关键词: bGPT,token,字节极模型,微软模型,模型训练

微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。

关键词: NLP,清华NLP,InfLLM,超长上下文,token,模型训练

挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。

关键词: Gemini 1.5,LongRoPE,上下文,token

谷歌刚刷新大模型上下文窗口长度记录，发布支持100万token的Gemini 1.5，微软就来砸场子了。

关键词: chatGPT,openai,token

ChatGPT突然失去理智，被网友们吵翻了天。许多用户在请求ChatGPT问题时，发现它开始胡言乱语，大篇重复。不一会儿，OpenAI给出官方解释：下一token概率预测相关，目前bug已修复。

关键词: Karpathy,GPT Tokenizer,token,分词器

技术大神卡帕西离职OpenAI以后，营业可谓相当积极啊。

关键词: GPT,Groq,tokens

大模型提速，抢走英伟达饭碗

关键词: Gemini 1.5,token, transformers,GPT-4V

我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。

关键词: 月之暗面,chatGPT,Claude-100k,token

月之暗面，拿到了中国大模型初创公司自ChatGPT出现至今的最大一笔单轮融资，10亿美元。

关键词: LLM,大模型,模型训练,token

2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。