一种推理模型的调度方法及系统、电子设备、存储介质

本申请实施例涉及模型推理技术领域，公开了一种推理模型的调度方法及系统、电子设备、存储介质。应用于子负载均衡管理器，方法包括：接收本地预填充节点生成的预填充结果；检测本地解码节点是否支持对预填充结果进行解码处理；在本地解码节点支持对预填充结果进行解码处理的情况下，调度本地解码节点对预填充结果进行解码处理；在本地解码节点不支持对预填充结果进行解码处理的情况下，将预填充结果转发至其它子负载均衡管理器，以通过其它子负载均衡管理器调度远程解码节点对预填充结果进行解码处理，有利于提高推理效率。