大语言模型推理性能评估与优化方法、电子设备和存储介质

本发明公开了一种大语言模型推理性能评估与优化方法、电子设备和存储介质，方法包括：初始化测试环境；动态生成并发用户请求；基述并发用户请求收集性能数据；基于性能数据进行实时监控与报告；基于性能数据生成性能评估报告。通过以上步骤，本发明能够全面评估LLM在高并发场景下的推理性能，确保系统在不同硬件环境中的最优表现。