关键词: 微调,大模型训练,大模型,数据选择算法,LESS

造大模型的成本，又被打下来了！这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS， 只筛选出与任务最相关5%数据来进行指令微调，效果比用整个数据集还要好。

关键词: 微调,模型训练,AI算法,LLM

自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。

关键词: AI算法,倾斜效应

当人造大脑已能复现人脑特征，那我们对自然之脑的理解无疑更为深入。

关键词: Lookahead,大模型训练,蚂蚁集团算法

该算法现已在GitHub上开源，相关论文公布在ARXIV。近日，蚂蚁集团开源了一套新算法，可帮助大模型在推理时，提速2至6倍，引起业内关注。

关键词: 状态序列频域预测,强化学习算法,大模型训练

SPF算法是一种基于状态序列频域预测的表征学习方法，利用状态序列的频域分布来显式提取状态序列数据中的趋势性和规律性信息，从而辅助表征高效地提取到长期未来信息。

关键词: Transformer,AI算法,大模型框架

在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。

关键词: Teal Omics,AI算法,LASSO

根据世界卫生组织（WHO）发布的《2022年世界卫生统计》报告，全球出生时的预期寿命从2000年的66.8岁提高到2019年的73.3岁，全球预期寿命增加了近6岁。然而，寿命的延长并不意味着健康寿命的相应延长。

关键词: chatGPT,AI算法

连ChatGPT看了都直摇头的算法优化，被北大团队给搞定了。 测试表明，新研究能解验证集中90%的题目，包括NOIP、Codeforce、Leetcode等比赛中的分治和动态规划题目——这些题目，很多大模型也难以解决。