无注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍
无注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍在 AI 赛道中,与动辄上千亿参数的模型相比,最近,小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型,其在每个基准测试中,都优于 Llama 2 13B,并且在代码、数学和推理方面也优于 LLaMA 1 34B。
在 AI 赛道中,与动辄上千亿参数的模型相比,最近,小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型,其在每个基准测试中,都优于 Llama 2 13B,并且在代码、数学和推理方面也优于 LLaMA 1 34B。
过去几个月中,随着 GPT-4V、DALL-E 3、Gemini 等重磅工作的相继推出,「AGI 的下一步」—— 多模态生成大模型迅速成为全球学者瞩目的焦点。
2B性能小钢炮来了!刚刚,面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM,2B就能赶超Mistral-7B,还能越级比肩Llama2-13B。成本更是低到炸裂,170万tokens成本仅为1元!
2023年末,OpenAI联合创始人兼 CEO Sam Altman在X平台发文征集网友们2024年对OpenAI的愿望与期待。
因为台积电的先进封装工艺产能太低,英伟达准备寻求英特尔来生产AI芯片了。据报道,英特尔一个月最多能提供30万片的H100产能。
星火语音大模型诞生的意义,不仅仅是成为更高效和智能的生产力,科大讯飞的判断是,语音交互,能加速万物互联时代的到来。
Characater.ai 网站每日活跃用户超 350 万,很多用户在过去一年向其发送了超千万条消息,Characater.ai,似乎正在悄悄改变人类和 AI 的关系,不能再被简单定义为偏工具属性的对话机器人。
对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。
羊驼家族的“最强开源代码模型”,迎来了它的“超大杯”——就在今天凌晨,Meta宣布推出Code Llama的70B版本。
首个基于全国产化算力平台「飞星一号」的大模型,正式开源!