基于小样本学习的执医考试辅导大模型精调方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于小样本学习的执医考试辅导大模型精调方法及系统
申请号:CN202410967300
申请日期:2024-07-18
公开号:CN119151737B
公开日期:2025-06-27
类型:发明专利
摘要
本发明公开了一种基于小样本学习的执医考试辅导大模型精调方法及系统,精调方法包括采用聚类和词嵌入向量的注意力得分,选取5个词嵌入向量作为数据集对执医考试辅导大模型进行训练,存储训练过程中适配器的权重;根据权重的重要性指标和剪枝阈值,对适配器的权重进行剪枝操作,对剪枝前后的执医考试辅导大模型进行推理测试,得到剪枝前后的推理时间和测试得分;根据推理时间和测试得分,计算剪枝前后执医考试辅导大模型的准确率下降指标和加速性能指标;判断准确率下降指标和加速性能指标或者剪枝次数是否满足对应的预设条件,若是,得到精调后的执医考试辅导大模型,否则根据准确率下降指标和加速性能指标更新剪枝阈值,之后返回剪枝操作步骤。
技术关键词
精调方法 词嵌入向量 注意力 考试试题 嵌入适配器 指标 样本 表达式 模型训练模块 模型剪枝 测试模块 微调组件 精调系统 数据 掩码矩阵 线性单元 聚类