AI资讯新闻榜单内容搜索-MathBot-Pi

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: MathBot-Pi
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法

卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法

卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法

香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。

来自主题: AI技术研报
7941 点击    2026-10-17 11:55