关键词: AI,微调,增强信息检索

随着AI的发展，其应用场景也越来越广泛。在这样的背景下，面向企业的B端产品同样迎来了转型升级的机遇。本文将阐述AI在B端产品中的应用，希望对你有所帮助。

关键词: 大模型,预训练,监督微调

今天分享一篇符尧大佬的一篇数据工程（Data Engineering）的文章，解释了speed of grokking指标是什么，分析了数据工程

关键词: LoRA,微调,LCM-LoRA

如果 AI 是一辆豪华跑车，那么 LoRA 微调技术就是让它加速的涡轮增压器。LoRA 强大到什么地步？它可以让模型的处理速度提升 300%。还记得 LCM-LoRA 的惊艳表现吗？其他模型的十步，它只需要一步就能达到相媲美的效果。

关键词: 向量数据库,微调,大模型

向量存储检索是个真需求，然而专用向量数据库已经凉了。

关键词: LM-Cocktail,模型治理,微调

随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。

关键词: 微调,对齐,提示词,LLM,提示工程师

大模型的效果好不好，有时候对齐调优很关键。但近来很多研究开始探索无微调的方法，艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。

关键词: Weights&Biases,AI训练,模型微调,MLOps

有一家公司，OpenAI、Anthropic、Cohere、Aleph Alpha（欧洲顶尖大模型公司）和Hugging Face的模型训练和微调都离不开它，NVIDIA和谷歌云（GCP）都是它的深度合作伙伴，它是支持生成式AI明星公司们训练模型的幕后英雄。

关键词: 微调,逐步微调,Distilling Step-by-Step,LLMs

大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步微调（Distilling Step-by-Step）的方法帮助模型训练。

关键词: 智谱AI,Agent,微调

智谱AI&清华KEG提出了一种对齐 Agent 能力的微调方法 AgentTuning，该方法使用少量数据微调已有模型，显著激发了模型的 Agent能力，同时可以保持模型原有的通用能力。

关键词: 微调,LLM,chatGPT,Llama-2,GPT-4

微调LLM需谨慎，用良性数据、微调后角色扮演等都会破坏LLM对齐性能！学习调大了还会继续提高风险！