AI资讯新闻榜单内容搜索-训练

关键词: DPO,IPO,KTO,模型训练,模型算法

尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的方法极大地推动了对话式人工智能的发展。

关键词: DeepMind,AI数学,LLM,大模型,模型训练

普林斯顿大学和DeepMind的科学家用严谨的数学方法证明了大语言模型不是随机鹦鹉，规模越大能力一定越大。

关键词: 微调,模型训练,RAG

检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。

关键词: 大模型,神经网络,AI硬件

为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。

关键词: 流程工程,LLM,提示工程,提示词

Karpathy力推代码生成任务增强流程，让GPT-4在CodeContests从19%提升到44%，不用微调不用新数据集训练，让大模型代码能力大幅提升。

关键词: SpeechGPT,自回归语音建模,模型训练,智能涌现,深度学习,自然语言处理

伴随着生成式深度学习模型的飞速发展，自然语言处理（NLP）和计算机视觉（CV）已经经历了根本性的转变，从有监督训练的专门模型，转变为只需有限的明确指令就能完成各种任务的通用模型

关键词: 深度强化学习,模型训练,数据低效

分布式强化学习是一个综合的研究子领域，需要深度强化学习算法以及分布式系统设计的互相感知和协同。考虑到 DDRL 的巨大进步，我们梳理形成了 DDRL 技术的展历程、挑战和机遇的系列文章。

关键词: CodeAct,智能体,LLM,GPT-4,模型训练

最近，UIUC苹果华人提出了一个通用智能体框架CodeAct，通过Python代码统一LLM智能体的行动。

关键词: AGI,智能体,agent,LLM

一位网友公开了他创作的一个可以自主学习的智能体，按照他的设想，这样的智能体将在LLM的加持下迅速成长为无所不能的AGI，而人类如果控制她成长的过程，就不需要专门进行对齐。

关键词: 微调,大模型训练,大模型,数据选择算法,LESS

造大模型的成本，又被打下来了！这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS， 只筛选出与任务最相关5%数据来进行指令微调，效果比用整个数据集还要好。