关键词: 国产开源大模型,RWKV,AI,大模型

微软正尝试在Office中集成国产开源大模型RWKV！

关键词: Transformer,AI,OpenAI,RWKV,AI人物,彭博

一个人，待在家里，“懒散”的有一搭没一搭，训练一个要挑战已经“一统世界”的Transformer 的模型。这听起来足够夸张。

关键词: 奇绩创坛,AI创业,AIGC,睿声人声大模型,RWKV

6 月 6 日下午，奇绩创坛在北京中关村举办了 2024 年春季创业营路演日，共有 53 家奇绩加速的公司参与了路演。

关键词: RNN,Transformer,RWKV,多头矩阵值状态,模型训练

不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。

关键词: 无注意力大模型,Eagle7B,RWKV

在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2 13B，并且在代码、数学和推理方面也优于 LLaMA 1 34B。