AI资讯新闻榜单内容搜索-token

关键词: token,Meta,Meta AI,模型训练

“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？

关键词: AI芯片,Groq,GPU,Llama 3,算力

2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: llama 3,开源大模型,大模型,AI,羊驼大模型

大模型力大砖飞，让LLaMA3演绎出了新高度： 超15T Token数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。

关键词: Llama 3,Groq,openai,chatGPT,claude 3 Opus

Llama 3诞生之后便艳压群雄，开源界已无「模」能敌。

关键词: GPT-4,openai,token,模型框架,模型训练

91行代码、1056个token，GPT-4化身黑客搞破坏！

关键词: 大模型,token,模型训练,幻觉,AI学术

如今，大型语言模型（LLM）已经成为了我们生活中的好帮手

关键词: token,GPT,openai,chatGPT,prompt

自 ChatGPT 问世以来，OpenAI 一直被认为是全球生成式大模型的领导者。2023 年 3 月，OpenAI 官方宣布，开发者可以通过 API 将 ChatGPT 和 Whisper 模型集成到他们的应用程序和产品中。在 GPT-4 发布的同时 OpenAI 也开放了其 API。

关键词: Megalodon,Transformer,AI架构,AI学术,模型训练

继Mamba之后，又一敢于挑战Transformer的架构诞生了！

关键词: Did,AI视频,sora,图像生成,模型训练

提出图像生成新范式，从预测下一个token变成预测下一级分辨率，效果超越Sora核心组件Diffusion Transformer（DiT