AI资讯新闻榜单内容搜索-知识蒸馏

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: 知识蒸馏
比知识蒸馏好用,田渊栋等提出连续概念混合,再度革新Transformer预训练框架

比知识蒸馏好用,田渊栋等提出连续概念混合,再度革新Transformer预训练框架

比知识蒸馏好用,田渊栋等提出连续概念混合,再度革新Transformer预训练框架

自然语言 token 代表的意思通常是表层的(例如 the 或 a 这样的功能性词汇),需要模型进行大量训练才能获得高级推理和对概念的理解能力,

来自主题: AI技术研报
4483 点击    2025-02-16 13:12
被DeepSeek带火的知识蒸馏,开山之作曾被NeurIPS拒收,Hinton坐镇都没用

被DeepSeek带火的知识蒸馏,开山之作曾被NeurIPS拒收,Hinton坐镇都没用

被DeepSeek带火的知识蒸馏,开山之作曾被NeurIPS拒收,Hinton坐镇都没用

DeepSeek带火知识蒸馏,原作者现身爆料:原来一开始就不受待见。称得上是“蒸馏圣经”、由Hinton、Oriol Vinyals、Jeff Dean三位大佬合写的《Distilling the Knowledge in a Neural Network》,当年被NeurIPS 2014拒收。

来自主题: AI技术研报
5552 点击    2025-02-07 15:43
模型参数作知识通用载体,MergeNet离真正的异构知识迁移更进一步

模型参数作知识通用载体,MergeNet离真正的异构知识迁移更进一步

模型参数作知识通用载体,MergeNet离真正的异构知识迁移更进一步

知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map,提高学生模型的准确性。迁移学习则通常通过预训练和微调,将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。

来自主题: AI技术研报
3361 点击    2025-01-28 11:57
超越KL!大连理工发布Wasserstein距离知识蒸馏新方法|NeurIPS 2024

超越KL!大连理工发布Wasserstein距离知识蒸馏新方法|NeurIPS 2024

超越KL!大连理工发布Wasserstein距离知识蒸馏新方法|NeurIPS 2024

大连理工大学的研究人员提出了一种基于Wasserstein距离的知识蒸馏方法,克服了传统KL散度在Logit和Feature知识迁移中的局限性,在图像分类和目标检测任务上表现更好。

来自主题: AI技术研报
4848 点击    2025-01-10 16:00
「知识蒸馏+持续学习」最新综述!哈工大、中科院出品:全新分类体系,十大数据集全面实验

「知识蒸馏+持续学习」最新综述!哈工大、中科院出品:全新分类体系,十大数据集全面实验

「知识蒸馏+持续学习」最新综述!哈工大、中科院出品:全新分类体系,十大数据集全面实验

最新综述论文探讨了知识蒸馏在持续学习中的应用,重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘问题。通过在多个数据集上的实验,验证了知识蒸馏在巩固记忆方面的有效性,并指出结合数据回放和使用separated softmax损失函数可进一步提升其效果。

来自主题: AI技术研报
3848 点击    2025-01-10 13:01
上交大o1复现新突破:蒸馏超越原版,警示AI研发"捷径陷阱"

上交大o1复现新突破:蒸馏超越原版,警示AI研发"捷径陷阱"

上交大o1复现新突破:蒸馏超越原版,警示AI研发"捷径陷阱"

自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来,全球掀起了一场 AI 能力 “复现” 竞赛。近日,上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破,通过简单的知识蒸馏方法,团队成功使基础模型在数学推理能力上超越 o1-preview。

来自主题: AI技术研报
4923 点击    2024-11-22 16:46