AI资讯新闻榜单内容搜索-next-token

关键词: 模型训练,token,next-token,GPT,Llama

研究人员提出了一种新的大型语言模型训练方法，通过一次性预测多个未来tokens来提高样本效率和模型性能，在代码和自然语言生成任务上均表现出显著优势，且不会增加训练时间，推理速度还能提升至三倍。