AI资讯新闻榜单内容搜索-推测解码

关键词: 推测解码,GPT-4,LLM,Transformer

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。