关键词: 大语言模型,大模型,AI,LLM

早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。

关键词: AI模型,模型训练,微软AI,微小语言模型

微软找到了探索语言生成模型参数的新切入点！

关键词: 大语言模型,模型量化,模型压缩,模型训练

模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。

关键词: LLM,大型语言模型,模型训练,AI研究

在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。

关键词: SpatialVLM,语言模型,空间推理,模型训练

视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。

关键词: RLHF,模型训练,LLM,大语言模型

大型语言模型（LLM）的成功离不开「基于人类反馈的强化学习（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个奖励模型，通过分类目标为前者分配更高的分数。

关键词: MiniCPM,大语言模型,MiniCPM-2B

MiniCPM 是一系列端侧语言大模型，主体语言模型 MiniCPM-2B 具有 2.4B 的非词嵌入参数量。

关键词: 大语言模型,Transformer,LLM

加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章，强调了语言模型在构建量子计算机方面所做出的贡献，并讨论了它们在量子优势竞争中的未来角色。

关键词: Mobile-Agent,多模态大语言模型,LLM,模型训练

一直以来，让 AI 成为手机操作助手都是一项颇具挑战性的任务。在该场景下，AI 需要根据用户的要求自动操作手机，逐步完成任务。

关键词: 大语言模型综合能力测评报告 2023,文心一言,通义千问,360智脑

本报告旨在通过全面、客观地评估当前流行的大模型，为大语言模型技术的具体实践和未来探索提供方向。