一种多模型协同蒸馏与动态微调模型的训练方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种多模型协同蒸馏与动态微调模型的训练方法及系统
申请号:CN202510033437
申请日期:2025-01-09
公开号:CN119443313B
公开日期:2025-04-29
类型:发明专利
摘要
本发明涉及计算机数据处理技术领域,具体涉及一种多模型协同蒸馏与动态微调模型的训练方法及系统;该方法包括,进行数据收集,未标注数据输入到模型制作为标注数据,并与已标注数据整合为一个数据集,再划分为训练集、验证集和测试集;训练集输入到模型中,提示词引导模型生成扩展数据,使用扩展训练集训练学生模型;学生模型在验证集上评估,评估结果表明学生模型评价指标未达到期望值,则错误信息输入模型进行分析和生成数据,再调整学生模型,直至学生模型的评价指标达到期望值;该方法优点为使用多个大语言模型进行协同蒸馏,训练数据更丰富多样化,学生模型更加准确,再通过循环动态微调学生模型,使得模型精准度更高以及适应性更强。
技术关键词
大语言模型 学生 训练集 多模型协同 动态 训练系统 蒸馏 数据处理模块 计算机数据处理技术 指标 生成答案 样本 模型训练模块 语言模块 文本 序列