一种基于通道注意力和自适应学习的模型剪枝方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于通道注意力和自适应学习的模型剪枝方法
申请号:CN202411570310
申请日期:2024-11-06
公开号:CN119443185A
公开日期:2025-02-14
类型:发明专利
摘要
本发明公开了一种基于通道注意力和自适应学习的模型剪枝方法,该方法首先引入通道注意力机制SENet,将其加入到目标模型每一个卷积层后,并训练至模型收敛;然后,提取训练样本的SENet的中间输出并结合BN层中缩放因子,得到通道重要性分数,接着根据通道重要性分数进行剪枝;最后利用自适应学习损失函数训练剪枝后的模型至收敛。本发明充分运用模型剪枝原理和通道注意力原理,实现遥感领域的高精度模型剪枝方法。该方法能够在保持模型精度甚至超越剪枝前模型精度的同时,大幅减少计算资源的消耗,提高处理效率,降低硬件成本。
技术关键词
模型剪枝方法 遥感图像分类 随机梯度下降 传播算法 图像分类模型 训练集 通道注意力机制 更新模型参数 样本 因子 代表 预测误差 标签 特征值