AMD GPU性能暴涨7倍,优化算法首次开源!高效MoE支持任意专家数量
AMD GPU性能暴涨7倍,优化算法首次开源!高效MoE支持任意专家数量通过完全启用并发多块执行,支持任意专家数量(MAX_EXPERT_NUMBER==256),并积极利用共享内存(5kB LDS)和寄存器(52 VGPRs,48 SGPRs),MoE Align & Sort逻辑被精心设计,实现了显著的性能提升:A100提升3倍,H200提升3倍,MI100提升10倍,MI300X/MI300A提升7倍...
搜索
通过完全启用并发多块执行,支持任意专家数量(MAX_EXPERT_NUMBER==256),并积极利用共享内存(5kB LDS)和寄存器(52 VGPRs,48 SGPRs),MoE Align & Sort逻辑被精心设计,实现了显著的性能提升:A100提升3倍,H200提升3倍,MI100提升10倍,MI300X/MI300A提升7倍...
这份《2024年AI应用行业年度报告》是由Xsignal打造的AI年终盘点大餐。全报告共78页,数据之翔实和页面之精美程度冠绝2024。添加客服微信 openai178,免费获取完整PDF。
Allen Institute for AI(AI2)发布了Tülu 3系列模型,一套开源的最先进的语言模型,性能与GPT-4o-mini等闭源模型相媲美。Tülu 3包括数据、代码、训练配方和评估框架,旨在推动开源模型后训练技术的发展。
测试Gemini1.5 Pro、GPT-4o等多模态大模型的新基准来了,针对视频理解能力的那种。
太热闹了。Google发布Gemini1.5的时候,被OpenAI的Sora截胡抢了风头。这些天,铺天盖地都是“Sora又让人类完了”的新闻。
这两年,程前式的成功学采访很流行,要是给TK做一期,标题写《00后身价过亿》都保守了。
获取原版PDF,请添加官方微信 openai178 免费领取。2023年中国人工智能学会发布了《中国人工智能系列白皮书—深度学习》,白皮书包含了从人工智能历史到深度学习的技术解析,以及AI在各领域的落地应用。报告原文PDF多达461页,24万字。