现在，请大家一起数一下“1”、“2”。OK，短短2秒钟时间，一个准万亿MoE大模型就已经吃透如何解一道高等数学大题了！而且啊，这个大模型还是不用GPU来训练，全流程都是大写的“国产”的那种。
Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。
过去十年，自然语言处理领域经历了从统计语言模型到大型语言模型（LLMs）的飞速发展。
11月27日，猎户星空联合聚云科技举办了题为《Data Ready for Al，MoE大模型发布暨商业闭环分享》媒体见面会。猎户星空正式发布了自主研发的Orion-MoE 8×7B大模型，并携手聚云科技推出了基于该大模型的数据服务—AI数据宝AirDS（AI-Ready Data Service）。
近日，来自微软的研究人员开源了使用全新方法训练的MoE大模型，不走寻常路，且编码和数学表现出色。
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
每个token只需要5.28%的算力，精度就能全面对标Llama 3。
马斯克最近哭穷表示，xAI需要部署10万个H100才能训出Grok 3，影响全球的大模型算力荒怎么解？昨天开源的这款MoE大模型，只用了1/19算力、1/19激活参数，性能就直接全面对标Llama 3-70B！
最新国产开源MoE大模型，刚刚亮相就火了。
AI音乐大模型最近有多火，不用多介绍了吧？不过，海外版应用别的先不说，奇奇怪怪的中文AI发音就能把人难受死……好在卷应用嘛，国产大模型厂商没在怕的，这不，国产版音乐“ChatGPT”这就来了~
