好家伙！1750亿参数的GPT-3只需20MB存储空间了？！ 基于1.58-bit训练，在不损失精度的情况下，大幅节省算力（↓97%）和存储（↓90%）。
数字生命一直是人类几十年来的追求，反映了我们对技术与人类体验交汇的深层探索。近期，复旦大学发表了一篇综述论文，首次系统梳理了角色扮演AI（Role-Playing Language Agents，RPLAs）的研究现状，现已被机器学习顶级期刊TMLR接收。
这几天，学术圈的小伙伴肯定都很关注正在加拿大温哥华举办的机器学习顶会——NeurIPS 2024。本届会议于今日落下帷幕，共接收 15671 篇有效论文投稿，比去年增长了 27%，最终接收率为 25.8%。
在机器学习领域，开发一个在未见过领域表现出色的通用智能体一直是长期目标之一。一种观点认为，在大量离线文本和视频数据上训练的大型 transformer 最终可以实现这一目标。
今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。
多智能体系统，可自动化整个 ML 工作流程，节省数千小时工时。
这篇文章获选 Neurips 2024 Spotlight，作者均来自于伊利诺伊大学香槟分校计算机系。第一作者是博士生林啸，指导老师是童行行教授。所在的 IDEA 实验室的研究兴趣涵盖图机器学习、可信机器学习、LLM 优化以及数据挖掘等方面。
30多年的数学猜想首次获得了进展！Meta等学者提出的PatternBoost，使用Transformer构造了一个反例，反驳了一个已悬而未决30年的猜想。是否所有数学问题都适合机器学习技术？这样的未来太令人期待了。
连续学习（CL）旨在增强机器学习模型的能力，使其能够不断从新数据中学习，而无需进行所有旧数据的重新训练。连续学习的主要挑战是灾难性遗忘：当任务按顺序训练时，新的任务训练会严重干扰之前学习的任务的性能，因为不受约束的微调会使参数远离旧任务的最优状态。
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
