一种基于量化推理的模型效果评估系统及方法

本发明公开了一种基于量化推理的模型效果评估系统及方法，涉及量化推理技术领域；该评估系统包括的功能模块为：模型加载与预处理模块、量化处理模块、推理过程模拟模块、性能评估模块以及结果反馈模块；其技术要点为：根据情况实施动态的调整优化策略，对各类测试集进行多次模拟，通过计算后实现准确的判断模型性能是否稳定；一旦检测到综合效果估量超出误差范围，则触发调整优化流程，针对权重分布进行优化，确保量化参数的合理性；若问题依旧存在，则进一步调整模型精度，逐步逼近最佳性能点；此过程中，还引入动态调整公式，实现自动化的调整精度调整的幅度，既保证了调整的及时性，又避免了过度调整带来的不稳定。