3倍生成速度还降内存成本，超越Medusa2的高效解码框架终于来了
3倍生成速度还降内存成本，超越Medusa2的高效解码框架终于来了传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。
来自主题: AI技术研报
3984 点击 2024-05-10 23:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。