微软打破Decoder-Only架构！大幅降低GPU内存需求，网友：把Llama3 70B弄20GB GPU上运行
微软打破Decoder-Only架构！大幅降低GPU内存需求，网友：把Llama3 70B弄20GB GPU上运行微软&清华最新研究，打破GPT系列开创的Decoder-Only架构——
来自主题: AI技术研报
6015 点击 2024-05-12 12:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
微软&清华最新研究，打破GPT系列开创的Decoder-Only架构——
近日，英国自动驾驶初创公司 Wayve 宣布已经在最新一轮融资中筹得了 10 亿美元，此次融资过后，Wayve 的融资总额已经高于 13 亿美元，成为英国人工智能初创公司有史以来最大的投资。
尽管苹果在生成式 AI 方面的进展没有像谷歌、Meta 和微软等竞争对手那样高调，但该公司一直在进行相关研究，其构筑新生态的思路总是显得与众不同。
OpenAI挖角谷歌、加班加点研发的AI搜索产品，马上就要上线了。
智东西5月8日报道，近日，微软发布了首个年度《负责任的人工智能透明度报告》。报告概述了微软2023年制定并部署的各种措施，以及其在安全部署AI产品方面取得的成就，如创建了30个负责任的人工智能（RAI）工具，扩大了RAI团队等。
不需要OpenAI，微软或许也会成为AI领头羊！
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。
大模型发展至今早已火成了一个「概念」。
当前最火的大模型，竟然三分之二都存在过拟合问题？
微软与 OpenAI 之间的关系紧密而复杂。在 OpenAI CEO Sam Altman 陷入辞退的风波时，微软 CEO 纳德拉曾多次力挺他，并向他抛出橄榄枝。当这场 OpenAI「宫斗」过去后，纳德拉也表示，无论 Altman 身在何处，仍然会支持他。