关键词: LIama 3,Mamba,蒸馏,模型训练

把Llama 3蒸馏到Mamba，推理速度最高可提升1.6倍！

关键词: 模型训练,Llama3,RNN,蒸馏

Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。

关键词: LLM,AI,GNN,蒸馏,文生图

Emory大学的研究团队提出了一种创新的方法，将大语言模型（LLM）在文本图（Text-Attributed Graph, 缩写为TAG）学习中的强大能力蒸馏到本地模型中，以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程，并对学生模型进行对齐优化，在多个数据集上实现了显著的性能提升，平均提高了6.2%。

关键词: 小模型,rStar,CoT,微调,蒸馏,模型训练

互相检查，让小模型也能解决大问题。

关键词: Llama 3.1,蒸馏,模型蒸馏,AI,SLM

小模型崛起了。

关键词: 蒸馏,模型训练,AI,Llama 2

研究者表示，如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征，则可以进一步提升 System 2 表现不那么好的推理任务的性能。

关键词: AI,蒸馏,Llama2,GPT-4

《思考快与慢》中人类的两种思考方式，属实是被Meta给玩明白了。