AI慢思考蒸馏进快思考，Llama2跃升至GPT-4水平，不写过程也能做对题
AI慢思考蒸馏进快思考，Llama2跃升至GPT-4水平，不写过程也能做对题《思考快与慢》中人类的两种思考方式，属实是被Meta给玩明白了。
来自主题: AI资讯
9570 点击 2024-07-12 15:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
《思考快与慢》中人类的两种思考方式，属实是被Meta给玩明白了。
早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
港大发布通用图基座模型OpenGraph，巧妙从LLM中蒸馏零样本图泛化能力。
在微调大型模型的过程中，一个常用的策略是“知识蒸馏”，这意味着借助高性能模型，如GPT-4，来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似，把GPT-4等模型视为更接近唯一的逻辑或真理的存在。