作为全球最顶级的机器学习工具库，Hugging Face上最近悄悄出现了一个新的transformers模型——Qwen2。没错，正是阿里通义千问Qwen模型的第二代。不过通义团队的算法同学在社交媒体上对此继续保持神秘。

“让它保持神秘”

也就是说，HuggingFace上的信息相当于一次“剧透”。而有剧透可能就说明距离正式“上映”不远了。

这款最全尺寸的中国开源模型的一举一动都备受开源社区开发者们关注，那么这次剧透都透露了哪些信息？我们也来梳理了一下。

根据Qwen2页面的Overview部分，这个新一代的基础模型同样包括不同参数大小的版本。这个简短的介绍提到Qwen2是基于Transformer架构，采用SwiGLU激活、注意力QKV偏置、组查询注意力、滑动窗口注意力和全序列注意力相混合等技术，根据介绍，Qwen2还提供了一个适应多种自然语言和代码的改进型分词器。

我们给大家简单讲一讲这些技术，首先是SwiGLU激活。它是激活函数的一种，全称叫做Swish-Gated Linear Unit。看这名就能明白，SwiGLU激活函数就是缝合了Swish激活函数和门控线性单元（Gated Linear Unit, GLU）的特性。Swish激活函数是一种非线性函数，它在输入趋近于正无穷时接近于线性变换，这有助于缓解梯度消失问题。GLU是一种门控激活函数，常用于序列建模任务。GLU将输入分为两部分，其中一部分经过Sigmoid门，另一部分经过tanh门。将两者逐元素相乘，以产生最终的输出。这种门控机制允许网络选择性地传递信息，提高建模能力。

在transformers模型中，注意力（Attention）机制是一种计算方式，它允许模型在处理输入序列时考虑不同位置之间的依赖关系，并动态地分配对输入的不同部分的关注程度。

Transformer的核心是自注意力（Self-attention）机制，尤其在自然语言处理任务中发挥着关键作用。

而自注意力可以被表示为每个输入位置的词嵌入会被映射到三个不同的向量空间：Query（查询）、Key（键）和Value（值）。Query向量用于查询相关信息，Key向量负责与Query匹配以确定相关性，而Value向量包含每个位置实际需要被关注的信息内容。Qwen2提到的注意力QKV偏置，刚好是Query、Key和Value的首字母。那也就是说，在自注意力机制中，通过引入偏置项，模型可以更灵活地捕捉输入序列中潜在的模式或特征，并能够针对特定任务或数据集微调其注意力行为。

它使用的是注意力机制的一个变体。在传统的自注意力机制中，所有的查询通过计算与所有的Key的相似度来得到注意力权重。而在组查询注意力中，引入了查询（Query）分组的概念，查询被分为多个组，每个组内的查询只与对应组内的键计算相似度，从而获得注意力权重。

传统的自注意力机制需要计算Query和Key之间的所有相似度，因此其计算复杂度是输入序列长度的平方级别。而滑动窗口注意力通过引入滑动窗口的概念，限制每个查询只与其周围一定范围内的键计算相似度，从而降低了计算复杂度。

与之相反，全序列注意力允许模型中的每个位置对序列中的所有其他位置进行关注，并据此计算权重分配。这种机制能捕捉到序列间的任意距离依赖关系，但在长序列上计算成本较高。

结合两者形成的混合注意力机制可以在保持较低计算复杂度的同时，尽可能保留并利用全局上下文信息。例如，在某些层使用局部的滑动窗口注意力以节省资源，而在其他层或关键节点上使用全序列注意力来确保充分捕获全局依赖关系。

Qwen的能力对比

最后再让我们看一看这个“改进型分词器”。所谓分词器，它的英文名叫做tokenizer。这个名字叫暴露了它的本职工作，就是将原始的文本数据分割成一系列有意义的、可管理的小单元，这些小单元通常被叫做tokens。

根据Qwen（或者区别于Qwen2，可以称为Qwen1）的技术报告，它采用了在编码不同语言信息方面具有更高效率的分词器，在多种语言中展示更高的压缩率。而根据Qwen2提交的代码，可以看出这个“改进分词器”的一些细节。

首先它依然是多语言支持的：分词器通过使用Unicode字符和字节编码，支持多种语言的文本处理，这使得它能够处理包含多种字符集的文本数据。其次，它使用了缓存（cache）来存储已经分词的结果，这有助于提高分词效率，尤其是在处理大量文本时。而在分词之前，分词器使用正则表达式（regex）对文本进行预处理，这有助于简化后续的分词步骤，例如去除标点符号和非字母数字字符。

而整体的思路上，它采用的依然是字节对编码（BPE），这是一种有效的词汇扩展方法，它通过迭代地合并最常见的字符对来构建词汇表，进而可以有助于处理未知词汇（UNKs）。同时它还提供了多种配置选项，如错误处理策略（errors）、未知词标记（unk_token）、开始序列标记（bos_token）、结束序列标记（eos_token）和填充标记（pad_token），这些选项允许用户根据具体需求定制分词器的行为。

从这些仅有的剧透中，可以看出Qwen2继续在对基础模型层面的预训练方法做着改进。而自从Qwen发布以来，整个通义家族都在以一种十分惊人的速度迭代和更新完善着，Qwen-VL，Qwen-Audio等相继发布。最近Qwen-VL还刚刚推出了Qwen-VL-Plus和Max两个升级版本，在多模态能力上实现了大幅提升。

这种全尺寸和多类目的特点，让Qwen系列成为开源社区最欢迎的基座模型之一。而在此次的“剧透”代码里，也可以看到，Qwen2可能最先发布的是它70亿参数的版本，名字是Qwen2-7B-beta和Qwen-7B-Chat-beta。

而且，另一个很重要的信息是，目前它上传的代码还显示，Qwen2模型开源协议依然是Apache 2.0，也就是说，这个目前最全尺寸的中国开源大模型将继续是免费可商用的。

文章来自于微信公众号 “硅星人Pro”，作者 “苗正”