微软让MoE长出多个头，大幅提升专家激活率
微软让MoE长出多个头，大幅提升专家激活率MH-MoE 能优化几乎所有专家，实现起来非常简单。
来自主题: AI资讯
11920 点击 2024-05-14 13:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
MH-MoE 能优化几乎所有专家，实现起来非常简单。
ChatGPT 问世才 17 个月，OpenAI 就拿出了科幻电影里的超级 AI，而且完全免费，人人可用。
又是一年招聘季，就业市场的新主力正来势汹汹。数据显示，2024届高校毕业生规模预计1179万人，同比增加21万人。面临如此大规模的求职者，各大公司在招聘过程中正越来越多地使用AI工具。其中，AI面试已成为包括银行、外企和快消等领域的标配。
众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。
大模型回答如何更可靠？MIT研究团队设计出「共识博弈」，将数学家常用的博弈论引入LLM改进中。没想到，LLaMA-7B的表现，击败了LLaMA-65B，甚至与PaLM-540B相媲美。
微软&清华最新研究，打破GPT系列开创的Decoder-Only架构——
Richard Sutton 在 「The Bitter Lesson」中做过这样的评价：「从70年的人工智能研究中可以得出的最重要教训是，那些利用计算的通用方法最终是最有效的，而且优势巨大。」
当地时间5月7日，ICLR 2024颁发了自大会举办以来的首个「时间检验奖」！
有数据统计，2022年全年，全国数据中心耗电量达到2700亿千瓦时，占全社会用电量约3%。预计2024年全国数据中心的耗电量将在3400亿至3600亿度之间，到2025年可能增长至4000亿至4400亿度。
近日，英国自动驾驶初创公司 Wayve 宣布已经在最新一轮融资中筹得了 10 亿美元，此次融资过后，Wayve 的融资总额已经高于 13 亿美元，成为英国人工智能初创公司有史以来最大的投资。