AI资讯新闻榜单内容搜索-MergeNe

关键词: MergeNe,知识蒸馏,模型训练,人工智能

知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map，提高学生模型的准确性。迁移学习则通常通过预训练和微调，将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。