一种模型推理性能优化方法、装置、设备和存储介质

本申请公开了一种模型推理性能优化方法、装置、设备和存储介质，包括：响应于接收到推理请求，识别目标推理模型的结构特征，根据结构特征确定目标推理模型的类型，其中推理请求包括请求参数，目标推理模型用于执行推理请求，根据目标推理模型的类型和请求参数确定第一资源分配，获取系统负载数据，根据系统负载数据确定系统负载状态等级，根据第一资源分配和系统负载状态等级确定第二资源分配，根据第二资源分配对推理请求进行计算，得到推理结果，通过该方法，能够优化资源利用率并提升系统吞吐量。