把Llama 3蒸馏到Mamba，推理速度最高可提升1.6倍！
来自主题: AI资讯
6132 点击 2024-09-10 14:10
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
把Llama 3蒸馏到Mamba，推理速度最高可提升1.6倍！
近日，Mamba方面又搞出了有意思的研究：来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。
Jamba是第一个基于 Mamba 架构的生产级模型。Mamba 是由卡内基梅隆大学和普林斯顿大学的研究人员提出的新架构，被视为 Transformer 架构的有力挑战者。
Attention is all you need.
Mamba 虽好，但发展尚早。
Mamba 架构的大模型又一次向 Transformer 发起了挑战
TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。
只是换掉Transformer架构，立马性能全方位提升，问鼎同规模开源模型！
这几日，AI 圈又一“震惊”事件！！
Mistral AI两款全新7B模型宣战OpenAI，对标更长的代码分析和更高效的数学推理。