3倍生成速度还降内存成本,超越Medusa2的高效解码框架终于来了 关键词: Medusa2,AI,模型训练,LLMs,顺序解码器 传统上,大型语言模型(LLMs)被认为是顺序解码器,逐个解码每个token。 来自主题: AI技术研报 3659 点击 2024-05-10 23:29