关键词: Transformer,AI框架,Mamba 2,模型训练

自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

Transformer挑战者、新架构Mamba，刚刚更新了第二代：

关键词: 英伟达,AI,AMD,H200,AI芯片

AMD在Computex主题演讲上大出风头，推出了首批Zen 5处理器，包括台式机用Ryzen 9000 CPU和笔记本电脑用Ryzen AI 300「Strix Point 」APU。除此之外，AMD还宣布了芯片年更计划以及备受期待的第五代EPYC Turin处理器。

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？

关键词: LLM,Llama 2,大语言模型,Transformer,token

在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。

关键词: 多模态大模型,大模型,Aya23,AI,LLM

Aya23在模型性能和语言种类覆盖度上达到了平衡，其中最大的35B参数量模型在所有评估任务和涵盖的语言中取得了最好成绩。

关键词: H100,GPT-2,openai,A100

大神Karpathy已经不满足于用C语言造Llama了！ 他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。

关键词: 大模型,AI,数据集,智源研究院,悟道2.0

中国AI资源要靠储备，更要靠开放的生态。

关键词: AlphaFold2,蛋白质预测,AI,AI蛋白质,Saprot

Saprot在proteingym蛋白质突变预测任务公开基准榜（由牛津大学计算机与哈佛医学院设立）排名第一。相比，其他排名靠前的算法都是混合模型，专门针对突变任务设计，而Saprot不仅是单模型，而且是通用模型。

关键词: 多模态,模型训练,GPT-4v,CogVLM2,智谱AI

开源多模态SOTA模型再易主！Hugging Face开发者大使刚刚把王冠交给了CogVLM2，来自大模型创业公司智谱AI。CogVLM2甚至在3项基准测试上超过GPT-4v和Gemini Pro，还不是超过一点，是大幅领先。