一种基于端系统硬件性能的模型轻量化部署方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于端系统硬件性能的模型轻量化部署方法及装置
申请号:CN202510763229
申请日期:2025-06-09
公开号:CN120745715A
公开日期:2025-10-03
类型:发明专利
摘要
本发明提供一种基于端系统硬件性能的模型轻量化部署方法及装置,通过静态硬件性能评估查询数据库获取最大算力、批处理量等参数,通过动态运行状态监控实时计算实际算力和内存作为压缩目标,并在硬件资源变化超阈值时触发轻量化,实现压缩策略的动态调整;轻量化过程中将硬件参数与模型特征融合为低维状态向量,输入强化学习策略网络输出剪枝率、量化位宽、蒸馏温度的协同压缩参数,最终生成自适应硬件动态环境的轻量化模型。本发明自动化压缩流程降低人工成本,确保轻量化模型精准匹配端侧硬件约束,提升推理速度并降低能耗。
技术关键词
端系统 中央处理器 内存 蒸馏 网络 图形处理器 模型压缩 训练样本集 动态运行状态 理论 强化学习策略 参数 学生 指令 分支 多层感知机 动态场景 计算机程序产品
系统为您推荐了相关专利信息
图像缺陷检测模型 融合图像特征 缺陷分类器 特征提取模块 图像检测模型
一体化运维系统 数据储存模块 风电 数据采集模块 数据处理模块
掌子面 模式 掘进参数 BP神经网络模型 硬岩层
神经网络训练 采样方法 节点 格式 聚类
密钥 管控方法 BP神经网络构建 频率 线下