# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
无需重新训练，模型压缩实现2比特媲美FP16。
近日，北京大学团队提出一个直接基于已有预训练模型进行极低比特量化的通用框架——Fairy2i。
该框架通过广泛线性表示将实数模型无损转换为复数形式，再结合相位感知量化与递归残差量化，实现了在仅2比特的情况下，性能接近全精度模型的突破性进展。
下面是更多详细内容。
众所周知，大模型在推理时，通常因其庞大的参数存储和计算需求，难以在手机、汽车等边缘设备上高效部署。
传统的量化方法在将模型压缩到极低比特（如1-2比特）时，常面临性能严重下降的问题，尤其是在直接复用预训练模型的情况下，难以在压缩和精度之间找到平衡。
Fairy2i针对性地解决了这一痛点，具体表现在：
1、广义线性表示：低成本无损继承，打通实数与复数桥梁
在“架构”上，Fairy2i通过解决实数模型如何“变身”复数模型的问题，极大地降低了训练所需的成本。
不同于iFairy等需要花费高昂算力从头预训练（Pre-training from scratch）的方式，Fairy2i选择了一条更高效的“继承”之路。
团队证明了一个数学等价性：任何偶数维的实数线性层，都可以无损地重参数化为等价的 “广义线性复数形式”（Widely-Linear Complex Form）。
这意味着，完全可以直接加载LLaMA等模型的预训练权重，将其转换为复数形式，而无需改变原有的参数规模。
这种策略不仅完美避开了从零构建复数模型所需的庞大算力消耗，且在量化前保持模型的推理结果完全不变，为后续的超低比特量化提供了完美的起点。
2、相位感知量化：沿用{±1, ±i}高效编码
在“量化”上，Fairy2i继承了iFairy的核心优势。
它利用单位圆上的四个四次单位根{+1, -1, +i, -i}作为码本，相比于实数域的二值（+1, -1）或三值（+1, 0, -1）量化，复数域的这四个点充分利用了2-bit的编码空间，具有更高的信息密度和更好的对称性。
3、递归残差量化：极低代价消除误差
为了进一步逼近全精度性能，团队提出了递归残差量化（Recursive Residual Quantization） 机制。
既然一次量化有误差，那就对“误差”再进行一次量化，Fairy2i将权重表示为几个低比特项的和。
实验表明，仅需T=2的递归阶段（即等效2-bit），就能大幅消除量化噪声。
另外，与iFairy一样，Fairy2i在推理时同样具备“无乘法”的特性。
由于权重被量化为{±1, ±i}的组合，推理时的矩阵乘法被转化为简单的加法、减法和数据交换（Swap）操作。
更为精妙的是，Fairy2i的递归残差计算是数据独立的，这意味着多个阶段的计算可以并行处理，在提升精度的同时，几乎不会增加推理延迟。
实验结果显示，Fairy2i在LLaMA-2 7B模型上取得了令人瞩目的成绩。
在语言建模能力（C4数据集PPL）上，Fairy2i (2-bit)取得了7.85的极低困惑度。
这一表现不仅显著优于现有的2-bit量化方法，甚至超越了部分3-bit量化模型，性能直逼全精度FP16水平 (6.63)。
在下游任务（Zero-shot Accuracy）评测中，Fairy2i同样表现强劲，其平均准确率达到了62.00%。
这一结果表明，Fairy2i几乎填平了超低比特量化带来的性能鸿沟，与全精度模型（64.72%）仅有一步之遥，实现了在极低比特预算下的性能飞跃。
Fairy2i的出现，不仅解决了预训练实数大模型难以高效量化的难题，还通过复数域技术充分挖掘超低比特量化的潜力，让大模型在边缘设备上的流畅运行成为可能。
值得注意的是，受限于算力资源，目前的Fairy2i仅使用了300亿(30B) token进行训练。
团队坚信，复数表示拥有尚未被完全挖掘的卓越容量。随着未来在更大规模数据集上的持续训练，Fairy2i有望不仅匹敌，甚至在精度上彻底反超原始的全精度基座模型。
目前，相关论文已公开，这项技术或将成为大模型在边缘设备普及的关键推手。
团队特别致谢：该研究得到了九章云极www.alayanew.com和大湾区大学的大力支持。
论文链接：
https://arxiv.org/abs/2512.02901HuggingFace:https://huggingface.co/PKU-DS-LAB/Fairy2i-W2
GitHub:
https://github.com/PKULab1806/Fairy2i-W2modelscope:https://modelscope.cn/models/PKULab1806/Fairy2i-W2
文章来自于微信公众号 “量子位”，作者 “量子位”
