关键词: 弱智吧,AI训练,数据集,模型训练。微调

离大谱了，弱智吧登上正经AI论文，还成了最好的中文训练数据？？

关键词: 开源大模型,DBRX,微调模型,微调,MoE

【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。

关键词: 开源大模型,DBRX,微调模型,微调,MoE

这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。

关键词: Deepmoney,大模型微调,模型训练,金融大模型,Yi-34B

在微调大型模型的过程中，一个常用的策略是“知识蒸馏”，这意味着借助高性能模型，如GPT-4，来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似，把GPT-4等模型视为更接近唯一的逻辑或真理的存在。

关键词: 微调,模型训练,RAG

检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。

关键词: 微调,大模型训练,大模型,数据选择算法,LESS

造大模型的成本，又被打下来了！这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS， 只筛选出与任务最相关5%数据来进行指令微调，效果比用整个数据集还要好。

关键词: 微调,大模型训练,对弈机制,GPT-4

来自UCLA的华人团队提出一种全新的LLM自我对弈系统，能够让LLM自我合成数据，自我微调提升性能，甚至超过了用GPT-4作为专家模型指导的效果。

关键词: 微调,模型训练,AI算法,LLM

自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。

关键词: Meta,Llama2,微调,GPT-4

人工智能的反馈（AIF）要代替 RLHF 了？

关键词: GPT微调,chatGPT微调,微调教程

OpenAI 宣布，正式开放 GPT3.5 微调 API，并承诺 2023 年内推出 GPT-4 微调 API。