AI资讯新闻榜单内容搜索-微调

关键词: AI,微调,模型训练,子空间微调

Scaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。

关键词: 微调,AI,完全稀疏激活,模型训练,人工智能

只需激活60%的参数，就能实现与全激活稠密模型相当的性能。

关键词: LowMemoryBP,反向传播,模型训练,微调,AI

自从大型 Transformer 模型逐渐成为各个领域的统一架构，微调就成为了将预训练大模型应用到下游任务的重要手段

关键词: RAG,微调,GPT-4,RankRAG

来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架，简化了原本需要多个模型的复杂的RAG流水线，用微调的方法交给同一个LLM完成，结果同时实现了模型在RAG任务上的性能提升。

关键词: Gemma-2,LLM,GPT-4o,Fine-tune,微调

谷歌的Gemma 2刚刚发布，清华和北航的两名博士生就已经成功推出了指令微调版本，显著增强了Gemma 2 9B/27B模型的中文通用对话、角色扮演、数学、工具使用等能力。

关键词: 微调,大模型,BP-free,反向传播,零阶优化器

开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。

关键词: LoRA,FLoRA,微调,AI,大模型

为了让大模型在特定任务、场景下发挥更大作用，LoRA这样能够平衡性能和算力资源的方法正在受到研究者们的青睐。

关键词: AI,模型训练,微调,Fine Tuning

「微调你的模型，获得比GPT-4更好的性能」不只是说说而已，而是真的可操作。最近，一位愿意动手的ML工程师就把几个开源LLM调教成了自己想要的样子。

关键词: Llama 3,Gemma 2,prompt,微调

导读：时隔4个月上新的Gemma 2模型在LMSYS Chatbot Arena的排行上，以27B的参数击败了许多更大规模的模型，甚至超过了70B的Llama-3-Instruct，成为开源模型的性能第一！

关键词: Python,机器学习,大模型,模型训练,微调

自 ChatGPT 发布以来，大型语言模型（LLM）已经成为推动人工智能发展的关键技术。