北航等机构发布最新综述：大语言模型集成 | ArXiv 2025

LLM Ensemble（大语言模型集成）在近年来快速地获得了广泛关注。它指的是在下游任务推理阶段，综合考虑并利用多个大语言模型（每个模型都旨在处理用户查询），从而发挥它们各自的优势。大语言模型的广泛可得性，以及其开箱即用的特性和各个模型所具备的不同优势，极大地推动了 LLM Ensemble 领域的发展。本文系统性地回顾了 LLM Ensemble 领域的最新进展。首先，我们介绍了 LLM Ensemble 的分类法，并讨论了几个相关的研究问题。然后，我们把"推理前集成、推理中集成、推理后集成"这三大范式下的各种方法划分为七大类，并回顾了所有相关方法。最后，我们介绍了相关的基准测试集和典型应用，总结和分析了现有的研究成果，并提出了若干值得关注的未来研究方向。

本文已被 ArXiv 收录。

论文题目：

Harnessing Multiple Large Language Models: A Survey on LLM Ensemble

论文链接：

https://arxiv.org/abs/2502.18036

GitHub 仓库：

https://github.com/junchenzhi/Awesome-LLM-Ensemble

1. 引言

近年来，人工智能领域的格局因大型语言模型（LLM）的飞速发展而发生了深刻变化，代表性的模型包括 Gemini、GPT-4、Llama，以及最近推出的 DeepSeek。这些 LLM 的成功持续激发着广泛的研究热情。

目前，在 Hugging Face 平台上，可以访问的大语言模型数量已经超过了 182,000 个。然而，在这股研究热潮背后，我们可以观察到两个主要方面：

1. LLM 的直接开箱即用能力（零样本推理）和间接开箱即用能力（基于 In-Context Learning 的少样本推理）仍引发着人们在性能方面的担忧，如准确性不足、幻觉（Hallucinations）频发以及与人类意图不对齐等；
2. 不同的 LLM 在擅长领域、推理成本与效率方面差异显著，这源于其在模型架构、参数量、分词策略、训练数据等方面的不同设计。面对同一个用户查询，不同模型的输出经常表现出较大差异（并且不同的模型常常伴随着不同的推理成本）。

考虑到上述两个方面，并借鉴集成学习的精神，我们自然地可以考虑一种解决问题的思路：对于每一个任务查询，与其持续依赖某个"基于公共排行榜或其他指标挑选出的"单一固定 LLM，不如同时考虑多个可以开箱即用的 LLM 候选模型，以充分发挥它们的各自优势。实际上，这正是近年来新兴的 LLM Ensemble 领域所探索的内容。

现有的 LLM Ensemble 方法可以根据"LLM 推理"和"集成"的先后顺序而分为三大范式：

1. 推理前集成方法：在 LLM 执行推理前，利用给定的用户查询信息并结合各个 LLM 的不同特性，选择出最合适的模型以进行推理（此方法在本质上类似于集成学习中的硬投票策略）；
2. 推理时集成方法：在大语言模型解码过程中（即在推理过程中），聚合来自多个 LLM 的不完整响应（例如，token 级别的信息或者是固定 2 个 words 长度的信息），并将聚合结果反馈给所有模型以进行下一个循环；
3. 推理后集成方法：在所有 LLM 候选或其某个子集生成完整响应（而非片段）后进行集成。比如，在所考虑的所有 LLM 输出所有响应后，综合考虑它们的所有回复以生成最终的独一份的回复信息。

尽管基于上述三大范式，近年来衍生出了大量方法，但目前仍缺乏一篇正式的综述文章以对快速发展的 LLM Ensemble 领域中的研究方向进行系统梳理和深入分析。

本文系统性地回顾了 LLM Ensemble 领域的最新进展，分别讨论了分类法、相关问题、方法、基准、应用和未来方向。我们希望这篇综述能够为研究人员提供全面的回顾，并激发进一步的探索。

（图 1: 各类 LLM Ensemble 方法的示意图。请注意：对于(b) Ensemble-during-inference，还存在(b,3)process-level ensemble 方法。我们并没有在此图中画出这类方法，因为考虑到排版问题以及目前这类方法只存在一个实例化的方法。）

2. LLM Ensemble 方法分类与相关研究问题

2.1 LLM Ensemble 方法分类

本节将正式介绍 LLM Ensemble 分类体系，对应的示意图和各类方法下的研究工作见图 1 和图 2。

如上文所述，当前的 LLM Ensemble 方法可以分为以下 3 大类范式（关于对此三大范式的划分，我们采用了文献[2]的划分方法）与 7 大类方法：

• (a) 推理前集成（Ensemble before inference）方法。 该类方法的核心思想是，在 LLM 进行推理之前，先通过路由算法将具体任务查询分配给最合适的模型，以实现更专业、更高效的推理过程。如图 1 和图 2 所示，根据是否需要使用预先定制的数据以进行预训练，该类方法可细分为以下两类：
• (a1) 预训练路由器（pretrained router）
• (a2) 非预训练路由器（non-pretrained router）

• (b) 推理时集成（Ensemble during inference）方法。 这是三大类中最细粒度的集成方式。需要注意的是，此类方法通常会将中间"集成结果"拼接上上文信息并再次输送给所有模型，以进行下一轮处理。此类方法可细分为以下三类：
• (b1) 分词级集成（token-level ensemble）方法。 在解码过程中，此类方法将多个模型生成的 token 级别输出信息进行集成，以生成最终的独一份信息；
• (b2) 片段级集成（span-level ensemble）方法。 此类方法类似于上述的 token-level ensemble 方法，并且以若干个单词所形成的片段为单位来进行集成；
• (b3) 过程级集成（process-level ensemble）方法。 针对复杂的推理任务，此类方法逐步在推理链中选择最优的中间步骤路径，即在每一步的推理过程中去集成来自多个模型的多份输出信息。

• (c) 推理后集成（Ensemble after inference）方法。 这类方法可以进一步分为以下两类：
• (c1) 非级联（Non-cascade）方法。 此类方法直接整合多个 LLM 候选生成的完整回复，以进行集成。在集成过程中，此类方法要么是利用算法分析并挑选出一份最优回复，要么是利用另外一个大模型来进行再次生成；
• (c2) 级联（Cascade）方法。 在综合考虑性能和推理成本的基础上，此类方法按照模型规模等标准对多个 LLM 候选进行排序并进行依次推理，直到得到最合适的回复为止，从而终止整个推理流程。

（图 2: 各类 LLM Ensemble 方法下的研究工作）

2.2 相关研究问题

（图 3: Ensemble Learning 与 Model Merging 的示意图。图片来自文献[1]；请注意，子图 b 中对应了 LLM Ensemble 中的一类典型方法，即"推理后集成方法"中的"(c1)非级联方法"。）

如图 3 所示，大语言模型融合（LLM Merging，LLM Fusion）[1]指的是在无需原始训练数据的前提下，将多个大语言模型的参数进行融合，从而构建一个统一的模型。

这种方法与 LLM Ensemble 密切相关，因为它们都强调知识的融合与迁移。

大语言模型协作（LLM Collaboration）[2][3]则是通过利用每个模型的不同优势，以更加灵活的方式完成任务。与 LLM Ensemble 不同，LLM Collaboration 方法并不将所有模型平等地直接用于用户查询，而是为每个模型分配不同的角色，并通过交换不同模型所生成的响应信息来提升效果。

弱监督学习（Weak Supervision）[4][5]，又被称为众包学习与群智监督学习（Learning from Crowds）[6]，主要利用"来自多弱标注源所提供的弱标签信息"来实施关于真值标签的真值推理与后续的基于推理后标签的学习（这对应于 LLM Ensemble 中的"(c1)非级联方法"），或者直接用弱标签信息来进行端对端学习以获得分类器。然而，目前关于此类方法的研究主要集中在分类任务上，而不是通用的生成任务。

3 方法

此部分可详见论文。我们在论文中对 7 类 LLM Ensemble 方法（即图 1 和图 2 中所示的 a1、a2、b1、b2、b3、c1、c2）对应的各个研究工作进行了深入分析，并在其中尽可能地对方法进行进一步的细化分类。

比如，对于"(c) 推理后集成（Ensemble after inference）方法"，我们又根据方法是否需要在下游任务中的监督学习而进行进一步的分类和分析（如图 4 所示）。

（图 4: 对推理后集成（Ensemble after inference）方法中的各个研究工作的归纳性总结）

4 讨论

4.1 总结性分析

我们在论文中对 7 类 LLM Ensemble 方法进行了总结性分析。如图 5 所示，分析主要从三个核心维度展开：集成策略、集成粒度和集成目标。

从集成策略的角度来看，聚合式（Aggregation）方法（如对所有模型输出进行平均或加权融合）相较于挑选式（Selection）方法（即从多个输出中选出一个，类似于硬投票）要更为复杂。另外，再生成式（Regeneration）方法通常需要额外准备大量特定的训练数据并再次微调一个大模型，因而成本更高。

从集成粒度的角度来看，响应级（Response-level）集成方法属于粗粒度集成。而细粒度的集成方法（包括 Token-level 和 Span-level 的集成方法），特别是 token 级集成方法，在模型解码阶段可以更精细地利用各个模型的输出概率分布，从而增强集成效果。

最后，从集成目标的角度来看，"(b)推理时集成方法"和"(c1)非级联式推理后集成方法"因不受推理成本限制，通常能够采用更加灵活的集成策略（即可以不依赖于基于挑选式的集成策略），并引入更细粒度的融合方式，最终具有更强的性能提升潜力。

（图 5: 对 7 大类 LLM Ensemble 方法的总结性分析）

4.2 未来研究方向

• 更具有原则性的"片段级推理时集成方法"。
• 当前基于片段（span）的"推理时集成方法"已经能够提供足够细致的集成粒度（如考虑基于 2 个 words 的跨度），具备较强的性能提升潜力。然而，现有的片段划分方法仍然过于简单和生硬，比如固定地将每个片段设定为 2 个 words。如果能够引入更具理论依据的或更灵活的片段划分策略，将有望为后续的集成过程提供更丰富、更具信息量的响应片段，从而提升整体效果。

• 更精细化的、无监督的"非级联推理后集成方法"。
• 在某些情况下，在多个模型的解码阶段而频繁调用多个模型的输出分布并不可行。此时，"非级联推理后集成"是一种非常实用的方法：它通过融合多个模型的完整输出来生成最终的回复信息。然而，目前方法存在两个局限：它们在集成过程中要么仅简单考虑模型输出之间的成对相似性度量，而未充分捕获各自的语义信息；要么需要引入了一个额外的、需要有监督学习的生成模型，牺牲了泛化性。因此，研究并提出更精细化的、无监督的"非级联推理后集成方法"具有重要意义。

• 更通用的"级联式推理后集成方法"。
• 相比于"推理前集成"策略，当前的"级联式推理后集成方法"在考虑推理成本的同时，还具备一个优势：即可以在推理过程中利用已有的模型回复信息而动态地选择最合适的输出。然而，现有的大多数级联方法并不适用于生成类任务，且唯一面向生成任务的方案也依赖于有监督学习，从而丢失了泛化性。因此，开发适用于生成任务的通用型无监督"级联式推理后集成方法"将是该领域的一个重要突破。

5 总结

LLM Ensemble（大语言模型集成）是集成学习在大语言模型时代的直接体现。大语言模型的易获取性、开箱即用的特性与多样性，使得集成学习的思想在当前的 LLM Ensemble 研究领域中更具有活力。本综述论文对 LLM Ensemble 领域中的 7 大类方法进行了全面的梳理与总结。我们希望这篇综述能为相关研究人员提供有价值的参考，并激发更多在 LLM Ensemble 及其相关领域的深入探索。

最后，我们致谢下面的参考文献以及在我们的综述论文中所涉及的各个研究工作。

参考文献

[1] Enneng Yang, et al. Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities. ArXiv 2024.

[2] Jinliang Lu, et al. Merge, ensemble, and cooperate! a survey on collaborative strategies in the era of large language models. arXiv 2024.

[3] Yilun Du, et al. Improving factuality and reasoning in language models through multiagent debate. ICML 2024.

[4] Jieyu Zhang, et al. Wrench: A comprehensive benchmark for weak supervision. NeuIPS 2021.

[5] Zhijun Chen, et al. Neural-Hidden-CRF: A Robust Weakly-Supervised Sequence Labeler. KDD 2023.

[6] Pengpeng Chen, et al. Adversarial learning from crowds. AAAI 2022.

文章来自于“夕小瑶科技说”，作者“陈志珺，李京政等”。