清华智能产业研究院（AIR）博三在读，去年六月份，出于对语言模型 LLM 的强烈兴趣，加入了字节 as Top Seed Intern，在人工智能的最前沿进行探索。刚好这个话题和我现在做的工作强相关，我分享一下自己的观点和亲身体验。
人工智能正在重塑游戏和互动媒体行业，人工智能是前所未有的价值创造源泉，它重塑行业的速度甚至比我们在互联网、移动电话和云计算兴起时所观察到的平台和架构变革还要快。
有25万块GPU的CoreWeave，已提交上市文件，计划IPO。虽然有英伟达等支持，但CoreWeave估值350亿美元，并不被媒体看好。而科技媒体初创Edward Zitron，更是直言CoreWeave财务糟糕，就是定时炸弹，而GenAI炒作泡沫即将破裂！
一个超越DeepSeek GRPO的关键RL算法出现了！这个算法名为DAPO，字节、清华AIR联合实验室SIA Lab出品，现已开源。禹棋赢，01年生，本科毕业于哈工大，直博进入清华AIR，目前博士三年级在读。去年年中，他以研究实习生的身份加入字节首次推出的「Top Seed人才计划」。
OpenAI 的培训研究副总裁 Liam Fedus 即将离职，以创立一家材料科学 AI 初创公司。Fedus 在 X 上发表声明，确认了该报道并补充了一些额外细节。
3 月 18 日上午，字节跳动豆包大模型部门（Seed）召开全员会，由负责模型应用相关工作的朱文佳，与新近加入的负责 AI 基础研究探索工作的吴永辉共同主持。两人谈到了未来的目标，明确 Seed 部门的最重要目标是探索智能上限；同时强调进一步加强组织文化，提高技术开放程度，并考虑推进开源。
OpenAI 又有重量级员工出走！这次是后训练负责人、研究副总裁 William Fedus。今天凌晨，Fedus 在 X 上发表了一则公开离职信，讲述了他离职的原因以及今后的去向。
在深度学习的多个应用场景中，联合优化多个损失项是一个普遍的问题。典型的例子包括物理信息神经网络（Physics-Informed Neural Networks, PINNs）、多任务学习（Multi-Task Learning, MTL）和连续学习（Continual Learning, CL）。然而，不同损失项的梯度方向往往相互冲突，导致优化过程陷入局部最优甚至训练失败。
LMM在人类反馈下表现如何？新加坡国立大学华人团队提出InterFeedback框架，结果显示，最先进的LMM通过人类反馈纠正结果的比例不到50%！
LLM自身有望在无限长token下检索信息！无需训练，在检索任务「大海捞针」（Needle-in-a-Haystack）测试中，新方法InfiniRetri让有效上下文token长度从32K扩展至1000+K，让7B模型比肩72B模型。
