关键词: Mamba,无注意力大模型,AI,AI框架

Mamba 架构的大模型又一次向 Transformer 发起了挑战

关键词: 无注意力大模型,Eagle7B,RWKV

在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2 13B，并且在代码、数学和推理方面也优于 LLaMA 1 34B。