普林斯顿博士生高天宇指令微调进展速览：数据、算法和评估
普林斯顿博士生高天宇指令微调进展速览：数据、算法和评估自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。
来自主题: AI技术研报
6786 点击 2024-01-21 14:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。
人工智能的反馈（AIF）要代替 RLHF 了？
Mixtral 8x7B模型开源后，AI社区再次迎来一大波微调实践。来自Nous Research应用研究小组团队微调出新一代大模型Nous-Hermes 2 Mixtral 8x7B，在主流基准测试中击败了Mixtral Instruct。
OpenAI 宣布，正式开放 GPT3.5 微调 API，并承诺 2023 年内推出 GPT-4 微调 API。
LAMM (Language-Assisted Multi-Modal) 旨在建设面向开源学术社区的多模态指令微调及评测框架，其包括了高度优化的训练框架、全面的评测体系，支持多种视觉模态。
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。
谷歌新设计的一种图像生成模型已经能做到这一点了！通过引入指令微调技术，多模态大模型可以根据文本指令描述的目标和多张参考图像准确生成新图像，效果堪比 PS 大神抓着你的手助你 P 图。
进入现今的大模型 (LLM) 时代，又有研究者发现了左右互搏的精妙用法！近日，加利福尼亚大学洛杉矶分校的顾全全团队提出了一种新方法 SPIN（Self-Play Fine-Tuning），可不使用额外微调数据，仅靠自我博弈就能大幅提升 LLM 的能力。
本文探讨了大模型套壳的问题，解释了大模型的内核和预训练过程。同时，介绍了“原创派”和“模仿派”两种预训练框架的差异，并讨论了通过“偷”聊天模型数据进行微调的现象。最后，提出了把“壳”做厚才是竞争力的观点。
随着AI的发展，其应用场景也越来越广泛。在这样的背景下，面向企业的B端产品同样迎来了转型升级的机遇。本文将阐述AI在B端产品中的应用，希望对你有所帮助。