动态路由混合专家模型的推理方法、系统、设备及介质

本发明公开了一种动态路由混合专家模型的推理方法、系统、设备及介质，它们是相对应的方案，方案中：通过自动化的并行策略搜索，本发明能将模型切分为运行时间均衡的流水线阶段，减少计算单元的空闲率，进而有效地提升计算单元的执行效率；并且，本发明的自动化搜索过程通过细粒度的并行策略划分，能够在满足内存限制的情况下尽可能降低最大的流水线阶段运行时间，从而提高模型的推理性能。