关键词: LoRA,PiSSA,微调,模型训练

随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。

关键词: LoRA,LLM,AI,AI研究,AI学术

作者表示：在各种有效的 LLM 微调方法中，LoRA 仍然是他的首选。LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。

关键词: NeurIPS ,QLoRA,Guanaco,模型训练

美国著名科技播客Latent Space对于刚刚过去的NeurIPS 2023上的精彩论文进行了一个全面的总结，回顾了多篇优秀论文，虽然没有获奖，但同样值得学界关注。

关键词: LoRA,微调,LCM-LoRA

如果 AI 是一辆豪华跑车，那么 LoRA 微调技术就是让它加速的涡轮增压器。LoRA 强大到什么地步？它可以让模型的处理速度提升 300%。还记得 LCM-LoRA 的惊艳表现吗？其他模型的十步，它只需要一步就能达到相媲美的效果。

关键词: AI训练,LoRA,LLM

增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。

关键词: 微调,AI,7,LoRA

矩阵乘法已经成为机器学习模型的构建模块，是各种强大 AI 技术的基础，了解其执行方式必然有助于我们更深入地理解这个 AI 以及这个日趋智能化的世界。