一种针对GPU推理服务的空闲服务管理方法及装置

本申请公开了一种针对GPU推理服务的空闲服务管理方法及装置。该方案中，监测K8S集群中的各个节点上部署的GPU推理服务的调用状况；基于调用状况，统计第一预设时段内各个GPU推理服务的服务调用量；若基于服务调用量确定GPU推理服务为空闲服务，则将该GPU推理服务作为目标GPU推理服务；检测目标清单中是否存在目标GPU推理服务的标识信息；其中，目标清单中包括多个禁止停用的GPU推理服务各自对应的标识信息；若目标清单中未存在目标GPU推理服务的标识信息，则停用目标GPU推理服务。本申请技术方案以自动化的方式实现精准的空闲服务管理，提高了针对GPU推理服务的空闲服务管理的效率。