基于梯度优化的硬提示优化方法、装置、设备及存储介质
申请号:CN202511397200
申请日期:2025-09-28
公开号:CN120874760B
公开日期:2025-12-23
类型:发明专利
摘要
本申请公开了一种基于梯度优化的硬提示优化方法、装置、设备及存储介质,涉及大语言模型技术领域,所述基于梯度优化的硬提示优化方法,包括:获取初始手动编写的硬提示,并确定硬提示在词汇表中对应的第一嵌入向量;将第一嵌入向量作为优化参数进行梯度优化,得到优化后的第二嵌入向量;将第二嵌入向量映射至词汇表,得到与第二嵌入向量对应的离散词元序列;基于离散词元序列进行解码,得到优化后的硬提示。通过对初始手动编写的硬提示进行优化,节省了手工编写的时间;对第一嵌入向量作进行梯度优化,并将优化后的第二嵌入向量映射回词汇表的词元,确保了最终输出为一个由自然语言构成的序列,提高了提示词引导模型过程的可解释性。
技术关键词
大语言模型
参数
序列
优化装置
优化设备
投影模块
随机噪声
解码模块
分词
自然语言
处理器
可读存储介质
存储器
数据
矩阵
索引
手工
计算机