搜索
Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。
现在，跑准万亿参数的大模型，可以彻底跟英伟达Say Goodbye了。
推荐大模型也可生成式，并且首次在国产昇腾NPU上成功部署！
近年来，AI成为了国内手机市场上的最大热点。根据市研机构IDC的定义，AI手机有几个关键指标和特性：算力大于30TOPS的NPU、支持生成式AI模型的SoC、可以端侧运行各种大模型。而就在过去一年，国内AI手机市场迅猛发力。华为、小米、vivo、OPPO、荣耀等手机厂商，均已迅速在旗下产品上接入各自的云端或端侧AI大模型。
安卓首款3nm、PC级Arm V9架构、第八代NPU——天玑9400，成为了移动AI芯片的最新最强成果！ 相比上一代生成式AI芯片天玑9300，其AI能力更上一层楼，荣登苏黎世ETHZ移动SoC AI性能榜单之首。
PS5Pro高价疑因AI技术成本，玩家质疑其性价比。PS5Pro售价高达700美元，引发玩家猜测 ；新硬件搭载AMD最新NPU，AI技术成卖点；AI技术推动硬件价格上涨，玩家成本增加
从大模型爆发到现在，我就一直好奇为什么output token比input token要贵，而且有的会贵好几倍！今天就这个话题和大家聊一聊。
a16z 合伙人 Alex Rampell 上周发布了一篇我觉得很有价值的文章《Input Coffee, Output Code: How AI Will Turn Capital into Labor》，认为在人工智能的帮助下，我们正在见证历史上最伟大的变革：软件正在变成劳动力，这是新的一种 E=MC^2 。
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
有CPU就能跑大模型，性能甚至超过NPU/GPU！