
一次推理解决复合问题:基于MoE的大语言模型知识模块可扩展融合推理架构MeteoRA
一次推理解决复合问题:基于MoE的大语言模型知识模块可扩展融合推理架构MeteoRA在大语言模型领域中,预训练 + 微调范式已经成为了部署各类下游应用的重要基础。在该框架下,通过使用搭低秩自适应(LoRA)方法的大模型参数高效微调(PEFT)技术,已经产生了大量针对特定任务、可重用的 LoRA 适配器。
来自主题: AI技术研报
6493 点击 2025-02-22 13:57
在大语言模型领域中,预训练 + 微调范式已经成为了部署各类下游应用的重要基础。在该框架下,通过使用搭低秩自适应(LoRA)方法的大模型参数高效微调(PEFT)技术,已经产生了大量针对特定任务、可重用的 LoRA 适配器。