2023年的大语言模型（LLM），让几乎所有人都燃起了热情。

现在大多数人都知道LLM是什么，以及可以做什么。

人们讨论着它的优缺点，畅想着它的未来，

向往着真正的AGI，又有点担忧自己的命运。

围绕开源与闭源的公开辩论也吸引了广泛的受众。

2023年的LLM开源社区都发生了什么？

下面，让我们跟随Hugging Face的研究员Clémentine Fourrier一起，

回顾一下开源LLM这跌宕起伏的一年。

如何训练大语言模型？

LLM的模型架构描述了具体实现和数学形状。模型是所有参数的列表，以及参数如何与输入交互。

目前，大多数高性能的LLM都是Transformer架构的变体。

LLM的训练数据集，包含训练模型所需的所有示例和文档。

大多数情况下是文本数据（自然语言、编程语言、或者其他可表达为文本的结构化数据）。

分词器（tokenizer）定义如何将训练数据集中的文本转换为数字（因为模型本质上是一个数学函数）。

文本被切分成称为tokens的子单元（可以是单词、子单词或字符）。

分词器的词汇量通常在32k到200k之间，而数据集的大小通常以它包含的tokens数量来衡量，当今的数据集可以达到几千亿到几万亿个tokens。

然后，使用超参数定义如何训练模型——每次迭代，参数应该改变多少？模型的更新速度应该有多快？

搞定这些后，剩下的就只需要：大量的算力，以及训练过程中进行监控。

训练的过程包括实例化架构（在硬件上创建矩阵），并使用超参数在训练数据集上运行训练算法。

最终得到的结果是一组模型权重，——大家讨论的大模型就是这个东西。

这组权重可以用来推理，对新的输入预测输出、生成文本等。

上面训练好的LLM也可以在之后通过微调（fine-tuning）来适应特定任务（尤其是对于开源模型）。

微调的过程是在不同的数据集（通常更专业、更小）上对模型进行额外的训练步骤，以针对特定应用程序进行优化。

比起从头开始训练一个大模型，微调的成本显然低得多——这也是开源LLM受到大家欢迎的原因之一。

从规模竞赛到数据竞赛

直到2022年初，机器学习的趋势是模型越大，性能就越好。

而且似乎模型的大小在超过某个阈值之后，能力会得到飞跃——有两个词语用来描述这个现象：emergent abilities和scaling laws 。

2022年发布的预训练开源模型大多遵循这种范式，下面举几个例子。

BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）是BigScience发布的一系列模型，由Hugging Face与法国组织GENCI和IDRIS合作，涉及来自60个国家和250个机构的1000名研究人员。这些模型使用decoder-only transformers，并进行了微小的修改。

系列中最大的模型有176B参数，使用350B的训练数据集，包括46种人类语言和13种编程语言，是迄今为止最大的开源多语言模型。

OPT（Open Pre-trained Transformer）系列模型由Meta发布，遵循GPT-3论文的技巧（特定权重初始化、预归一化），对注意力机制（交替密集和局部带状注意力层）进行了一些更改。

这个系列中最大的模型为175B，在180B的数据上进行训练，数据主要来自书籍、社交、新闻、维基百科和互联网上的其他信息。

OPT的性能与GPT-3相当，使用编码优化来降低计算密集度。

GLM-130B（通用语言模型）由清华大学和Zhipu.AI发布。它使用完整的transformer架构，并进行了一些更改（使用DeepNorm进行层后归一化、旋转嵌入）。

GLM-130B是在400B个中英文互联网数据（The Pile、Wudao Corpora和其他中文语料库）的标记上训练的，它的性能也与GPT-3相当。

此外，还有一些更小或更专业的开源LLM，主要用于研究目的。

比如Meta发布的Galactica系列；EleutherAI发布的GPT-NeoX-20B等。

尽管看起来越大的模型效果越好，但运行起来也越昂贵。

在执行推理时，模型需要加载到内存中，而100B参数的模型通常需要220GB的内存。

在2022年3月，DeepMind发表了一篇论文，研究了在给定计算预算下，用于训练的数据量与模型参数的最佳比率是多少。

换句话说，如果你只有固定的一笔钱可以花在模型训练上，那么模型大小和训练数据量应该是多少？

作者发现，总体而言，应该把更多的资源分配给训练数据。

他们自己的例子是一个叫做Chinchilla的70B模型，使用1.4T的训练数据。

2023的开源LLM

模型爆发

2023年开始，一大波模型涌现出来，每个月、每周、甚至每天都会有新的模型发布：

2月的LLaMA（Meta）、4月的Pythia（Eleuther AI）、MPT（MosaicML）、 5月的X-GEN（Salesforce）和Falcon（TIIUAE）、7月的Llama 2（Meta）、9月的Qwen（阿里巴巴）和Mistral（Mistral.AI），11月的Yi（01-ai），12月的DeciLM（Deci）、Phi-2（微软） 和SOLAR（Upstage）。

在Meta AI的LLaMA系列中，研究人员的目标是训练一组不同大小的模型，能够在给定的预算下具有最佳性能。

他们首次明确提出不仅要考虑训练预算，还要考虑推理成本，从而在更小的模型大小上达到更高的性能（权衡是训练计算效率）。

Llama 1系列中最大的模型是在1.4T数据上训练的65B参数模型，而较小的模型（6 B和13B）是在1T数据上训练的。

小型13B LLaMA模型在大多数基准测试中都优于GPT-3，而最大的LLaMA模型到达了当时的SOTA。不过，LLaMA是以非商业许可发布的，限制了社区的应用。

之后，MosaicML发布了MPT模型，具有允许商业用途的许可证，以及训练组合的细节。第一个MPT模型为7B ，随后是6月份的30B版本，均使用1T英语和代码数据进行训练。

在此之前，模型的训练数据是公开的，不过之后的模型就不再提供任何关于训练的信息，——不过最起码权重是开源的。

无处不在的对话模型

与2022年相比，2023年发布的几乎所有预训练模型都带有预训练版本和对话微调版本。

公众越来越多地使用这些聊天模型，并进行各种评估，还可以通过聊天的方式对模型进行微调。

指令微调（IFT）使用指令数据集，其中包含一组查询的提示和答案。这些数据集教会模型如何遵循指令，可以是人类的，也可以是LLM生成的。

使用LLM输出合成数据集，是完成指令和聊天微调的方法之一，通常被称为distillation ，表示从高性能模型中获取知识，来训练或微调较小的模型。

这两种方法都相对容易实现：只需要查找或生成相关数据集，然后使用与训练时相同的技术微调模型。

来自人类反馈的强化学习 （RLHF） 是一种特定方法，旨在调整模型预测的内容，与人类的喜好保持一致。

根据给定的提示，模型会生成几个可能的答案，人类对这些答案进行排名，排名用于训练所谓的偏好模型，然后使用偏好模型通过强化学习对语言模型进行微调。

这是一种成本高昂的方法，主要用于调整模型以实现安全目标。

人们之后开发了一种成本较低的变体，使用高质量的LLM对模型输出进行排名，称为来自AI反馈的强化学习 （RLAIF）。

直接偏好优化 （DPO） 是RLHF的另一种变体，但不需要训练和使用单独的偏好模型。

DPO利用人类或AI给出的排名数据集，通过查看其原始策略和最佳策略之间的差异，来直接更新模型。

这使得优化过程变得简单很多，同时实现了差不多的最终性能。

社区在做什么？

在2023年初，已经发布了一些用于教学或聊天微调的数据集。

比如在人类偏好方面，OpenAI的WebGPT数据集、Anthropic的HH-RLHF数据集和OpenAI的Summarize。

指令数据集的例子包括BigScience的Public Pool of Prompts、Google的FLAN 1和2、AllenAI的Natural Instructions、Self Instruct（由不同隶属关系的研究人员生成自动指令的框架）、SuperNatural指令（微调数据的专家创建的指令基准）、Unnatural指令等。

今年1月，中国研究人员发布了人类ChatGPT指令语料库 （HC3），包含各种问题的人类与模型答案。

3月，斯坦福大学开放了Alpaca模型，是第一个遵循指令的LLaMA模型 （7B），还包括相关的数据集（使用LLM生成的52K指令）。

LAION（一个非营利性开源实验室）发布了开放指令通才（OIG）数据集，该数据集有43M条指令，既有数据增强创建，也有从其他预先存在的数据源编译而来的指令。

同月，LMSYS组织（加州大学伯克利分校）发布了Vicuna，也是一个LLaMA微调（13B），这次使用的是聊天数据——用户与ChatGPT之间的对话，由用户自己在ShareGPT上公开分享。

4月，BAIR（伯克利人工智能研究实验室）发布了Koala，一个聊天微调的LLaMA模型，使用了之前的几个数据集（Alpaca、HH-RLHF、WebGPT、ShareGPT），

DataBricks发布了Dolly数据集，包含15K手动生成指令。

5月，清华大学发布了UltraChat，一个包含指令的1.5M对话数据集，以及UltraLLaMA，一个对该数据集的微调。

Microsoft随后发布了GPT4-LLM数据集，用于使用GPT4生成指令，

6月，Microsoft研究分享了一种新方法Orca，通过使用大型模型的推理痕迹来构建指令数据集（解释它们的分步推理），

——社区用这种方法创建了Open Orca数据集，有数百万个条目， 并被用于微调许多模型（Llama、Mistral等）。

8月，中国非营利组织OpenBMB发布了UltraLM（LLaMA的高性能聊天微调），

9月，他们发布了相关的偏好数据集UltraFeedback，这是一个由GPT4比较的输入反馈数据集（带有注释）。

另外，清华大学的一个学生团队发布了OpenChat，一个使用新的RL微调策略的LLaMA微调模型。

10月，Hugging Face发布了Zephyr，这是一款在UltraChat和UltraFeedback上使用DPO和AIF的Mistral微调，Lmsys发布了LMSYS-Chat-1M，是与25个LLM的真实用户对话。

11月，NVIDIA发布了HelpSteer，一个对齐微调数据集，根据几个标准提供提示、相关模型响应和所述答案的等级，而Microsoft Research发布了Orca-2模型，是一个在新的合成推理数据集上微调的Llama 2。

开发方式

合并：极致定制

在典型的开源方式中，社区的里程碑之一是模型或数据合并。

模型合并是一种将不同模型的权重融合到单个模型中的方法，以将每个模型的各自优势组合在一个统一的单个模型中。

最简单的方法之一，是对一组共享通用架构的模型的参数进行平均，——不过需要考虑更复杂的参数组合，例如确定哪些参数对给定任务的影响最大（加权平均），或者在合并时考虑模型之间的参数干扰（并列合并）。

这些技术允许任何人轻松生成模型组合，并且由于现在大多数模型都是同一架构的变体，因此变得特别容易。

这就是为什么一些 LLM 排行榜上的模型会有奇怪的名字（比如llama2-zephyr-orca-ultra——表示llama2和zephyr 模型的合并，在orca和ultra数据集上进行了微调） 。

PEFT：指尖的个性化

有时，你可能没有足够的内存加载整个模型，以对其进行微调。但事实上，微调时可以不需要使用整个模型。

采用参数高效微调（PEFT），首先固定住一部分的预训练模型的参数，然后在其上添加许多新参数，称为适配器。

然后，对任务进行微调的只是（轻量级）适配器权重，比原始模型要小得多。

量化：模型无处不在

性能良好的大模型在运行时需要大量的内存，比如一个30B参数的模型可能需要超过66G的RAM才能加载，大多数个人开发者都未必拥有足够的硬件资源。

一个解决方案就是量化，通过改变模型参数的精度来减小模型的大小。

在计算机中，数字以给定的精度（如float32、float16、int8等）存储。

精度既指示数字类型（是浮点数还是整数）又指示数字的存储量：float32将浮点数存储在32位的内存空间中。精度越高，数字占用的物理内存就越多。

因此，如果降低精度，则会减少每个模型参数占用的内存，从而减小模型大小，这也意味着可以减少计算的实际精度。

而这种精度的损失带来的性能下降，实际上非常有限。

从一种精度到另一种精度的方法有很多种，每种方案都有自己的优点和缺点。常用的方法包括bitsandbytes、GPTQ和AWQ。

参考资料：

https://huggingface.co/blog/2023-in-llms

文章来自微信公众号 “ 新智元 ”