刚刚，不发论文、爱发博客的 Thinking Machines Lab （以下简称 TML）再次更新，发布了一篇题为《在策略蒸馏》的博客。在策略蒸馏（on-policy distillation）是一种将强化学习 (RL) 的纠错相关性与 SFT 的奖励密度相结合的训练方法。在将其用于数学推理和内部聊天助手时，TML 发现在策略蒸馏可以极低的成本超越其他方法。
彭超曾在华为印度、阿里任消费硬件业务1号位；联合创始人齐炜祯为Multi-token架构开创学者，被Deepseek、Qwen引入预训练方法。
2023 年的秋天，当全世界都在为 ChatGPT 和大语言模型疯狂的时候，远在澳大利亚悉尼的一对兄弟却在为一个看似简单的问题发愁：为什么微调一个开源模型要花这么长时间，还要用那么昂贵的 GPU？
学界杀入主赛道！UCL 校园团队 EuniAI 抛出开源智能体 Prometheus，在 SWE-bench Verified 上 71.2% Pass@1、主榜实锤合并；成本低至 $0.23/issue。
OpenAI现在已经完全是互联网大厂的路数了。
OpenAI 发布了一份报告： AI in Japan: OpenAI’s Economic Blueprint 如何利用 AI，加速创新、增强竞争力，并推动可持续、包容性的增长
可能很多人还不知道，京东云早就做了类似字节 Coze 这样的产品，并且已经 100% 开源。目前市面上同类产品有不少，京东云 JoyAgent 主打的一个亮点就是它在京东内部的场景中验证过，更贴合企业严肃商业场景的需求。今天，我做个记录，也把操作流程和经验分享给大家。
预训练的核心是推动损失函数下降，这是我们一直追求的唯一目标。
近日，来自普渡大学、德克萨斯大学、新加坡国立大学、摩根士丹利机器学习研究、小红书 hi-lab 的研究者联合提出了一种对离散扩散大语言模型的后训练方法 —— Discrete Diffusion Divergence Instruct (DiDi-Instruct)。经过 DiDi-Instruct 后训练的扩散大语言模型可以以 60 倍的加速超越传统的 GPT 模型和扩散大语言模型。
3D点云异常检测对制造、打印等领域至关重要，可传统方法常丢细节、难修复。上海科大与密歇根大学携手打造PASDF框架，借助「姿态对齐+连续表征」技术，达成检测修复一体化，实验显示其精准又稳定。
