一种基于端系统硬件性能的模型轻量化部署方法及装置
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AITNT公众号
AITNT APP
AITNT交流群
搜索
首页
AI资讯
AI技术研报
AI监管政策
AI产品测评
AI商业项目
AI产品热榜
AI专利库
寻求报道
一种基于端系统硬件性能的模型轻量化部署方法及装置
申请号:
CN202510763229
申请日期:
2025-06-09
公开号:
CN120745715A
公开日期:
2025-10-03
类型:
发明专利
摘要
本发明提供一种基于端系统硬件性能的模型轻量化部署方法及装置,通过静态硬件性能评估查询数据库获取最大算力、批处理量等参数,通过动态运行状态监控实时计算实际算力和内存作为压缩目标,并在硬件资源变化超阈值时触发轻量化,实现压缩策略的动态调整;轻量化过程中将硬件参数与模型特征融合为低维状态向量,输入强化学习策略网络输出剪枝率、量化位宽、蒸馏温度的协同压缩参数,最终生成自适应硬件动态环境的轻量化模型。本发明自动化压缩流程降低人工成本,确保轻量化模型精准匹配端侧硬件约束,提升推理速度并降低能耗。
技术关键词
端系统
中央处理器
内存
蒸馏
网络
图形处理器
模型压缩
训练样本集
动态运行状态
理论
强化学习策略
参数
学生
指令
分支
多层感知机
动态场景
计算机程序产品
系统为您推荐了相关专利信息
1
图像检测方法、图像检测模型的训练方法、设备及介质
图像缺陷检测模型
融合图像特征
缺陷分类器
特征提取模块
图像检测模型
2
一种风电生成式大模型空间智能体智慧一体化运维系统
一体化运维系统
数据储存模块
风电
数据采集模块
数据处理模块
3
一种基于机器学习的双模盾构模式转换位置确定方法
掌子面
模式
掘进参数
BP神经网络模型
硬岩层
4
一种加速图神经网络训练的分簇重排采样方法
神经网络训练
采样方法
节点
格式
聚类
5
基于量子密钥与国密算法的线下文件安全管控方法及系统
密钥
管控方法
BP神经网络构建
频率
线下