模型处理方法、装置、计算机设备、可读存储介质和程序产品
申请号:CN202411702108
申请日期:2024-11-26
公开号:CN119577475A
公开日期:2025-03-07
类型:发明专利
摘要
本申请涉及一种模型处理方法、装置、计算机设备、可读存储介质和程序产品。所述方法包括:基于扩散核算法,对输入数据、目标层以及目标层的下一层的激活函数进行低维转化处理,得到转换后的特征向量;基于预设层间相似度算法和转换后的特征向量,构建目标层与目标层的下一层之间的相似度矩阵;在相似度矩阵中确定相似层,并将相似层按照预设融合参数进行融合,得到融合后的相似层,以及基于各个融合后的相似层,得到压缩后的大语言模型。采用本方法能够在保证大语言模型性能的同时,有效压缩模型规模。
技术关键词
概率分布函数
矩阵
节点
拉普拉斯
计算机设备
可读存储介质
推理算法
大语言模型
计算机程序产品
处理器
参数
数据
存储器
特征值
注意力
模块
规模