3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了
3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了马斯克说到做到开源Grok-1,开源社区一片狂喜。但基于Grok-1做改动or商用,都还有点难题: Grok-1使用Rust+JAX构建,对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。
马斯克说到做到开源Grok-1,开源社区一片狂喜。但基于Grok-1做改动or商用,都还有点难题: Grok-1使用Rust+JAX构建,对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。
去年 8 月,两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI,总部位于日本东京。
PreFLMR模型是一个通用的预训练多模态知识检索器,可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。
3 月 23 日,国内通用大模型创业公司阶跃星辰在 2024 全球开发者先锋大会上发布了公司的通用大模型产品。阶跃星辰创始人、CEO 姜大昕博士在大会开幕式上对外发布了 Step 系列通用大模型,包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。
拒绝赛博朋克,千呼万唤始出来。为了兑现牛逼,马斯克最近下了血本:Grok-1宣布开源。据官方信息,这是一个参数高达3140亿的混合专家模型,是目前所有开源模型中规模最大的。
加上此次CEO的辞职,Stability AI已经相继失去了十几位技术人才。又一知名的AI独角兽发生了管理层变动。当地时间3月23日,估值超40亿美元的独角兽AI公司Stability AI称,CEO Emad Mostaque辞去了CEO以及董事会职务,去追求去中心化的AI了。
刚刚,Mistral AI 的模型又更新了。 这次开源一如既往地「突然」,是在一个叫做 Cerebral Valley 的黑客松活动上公布的。
以后的爆款歌曲可能要被AI承包了!最近,AI初创公司Suno震撼推出V3音乐生成模型,惊艳了全世界。只需几秒,即可生成2分钟动听的音频。网友纷纷表示:音乐的ChatGPT时刻来临!
Claude 3不但数据集跑分领先,用户体验上也将成为最强大的LLM,GPT-5在哪里?
特斯拉创始人埃隆·马斯克推出了开源大语言模型Grok-1,该模型参数量高达3140亿,是迄今为止参数量最大的开源大模型。