马斯克搞大模型，速度也奇快。
来自主题: AI技术研报
6144 点击 2024-03-29 15:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
马斯克搞大模型，速度也奇快。
国产化不再是一个简单的口号，而是落实在具象产品之中。3月19日，36氪安徽从联宝（合肥）电子科技有限公司（简称“联宝科技”）获悉，联想首台可搭载国产AI算力芯片的联想问天WA5480 G3服务器在合肥成功交付。
高通全新生成式AI手机芯片，来了！ 骁龙8s Gen 3作为骁龙8系“新生代旗舰”，现已正式发布。
高通又往中高端手机市场扔下一颗「重磅炸弹」。
今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。
现在，大语言模型（LLM）迎来了“1-bit时代”。
“AI驱动”已覆盖AI基础设施、通用大模型、垂直模型及电商、办公等场景化应用。2月7日，阿里巴巴集团发布2024财年第三季度业绩。在“用户为先、AI驱动”的战略执行下，公司核心业务的结构性调整收获初步成效，集团季度收入实现5%的稳定增长。
2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
Mixtral 8x7B模型开源后，AI社区再次迎来一大波微调实践。来自Nous Research应用研究小组团队微调出新一代大模型Nous-Hermes 2 Mixtral 8x7B，在主流基准测试中击败了Mixtral Instruct。
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。