在当今数字化时代，人工智能（artificial intelligence，AI）技术迅猛发展，尤其是生成式技术，如ChatGPT（chat generative pre-trained transformer），对人类生活的影响日益深远。
合成数据2.0秘诀曝光了！来自微软的研究人员们提出了智能体框架AgentInstruct，能够自动创建大量、多样化的合成数据。经过合成数据微调后的模型Orca-3，在多项基准上刷新了SOTA。
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。
过去几年间，Transformer 架构已经取得了巨大的成功，同时其也衍生出了大量变体，比如擅长处理视觉任务的 Vision Transformer（ViT）。本文要介绍的 Body Transformer（BoT） 则是非常适合机器人策略学习的 Transformer 变体。
单目深度估计新成果来了！
互相检查，让小模型也能解决大问题。
发布40天后，最强开源模型Llama 3.1 405B等来了微调版本的发布。但不是来自Meta，而是一个专注于开放模型的神秘初创Nous Research。
Nature的一篇文章透露：你发过的paper，很可能已经被拿去训练模型了！有的出版商靠卖数据，已经狂赚2300万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗？
随着大模型的快速发展，指令调优在提升模型性能和泛化能力方面发挥着至关重要的作用。
一口气生成2万字，大模型输出也卷起来了！
最近的论文表明，LLM等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。另一个复现实验也发现，让参数量仅8B的Llama 3.1模型搜索100次，即可在Python代码生成任务上达到GPT-4o同等水平。
最近ACL 2024 论文放榜，扫了下，SMoE（稀疏混合专家）的论文不算多，这里就仔细梳理一下，包括动机、方法、有趣的发现，方便大家不看论文也能了解的七七八八，剩下只需要感兴趣再看就好。
AI在现实工作环境中如何影响了工作效率？微软发起一项最大规模的调查研究，AI工具在工作场景中最大提效30％。
近日，来自佐治亚理工学院的研究人员开发了RTNet，首次表明其「思考方式」与人类非常相似。
天网离我们还有多远？现在，科学家们希望通过一个强大的超算网络，来加速发展人类级别的人工智能，预计在2025年前全面投入运行。
只用提示词，多模态大模型就能更懂场景中的人物关系了。
Mini-Monkey 是一个轻量级的多模态大型语言模型，通过采用多尺度自适应切分策略（MSAC）和尺度压缩机制（SCM），有效缓解了传统图像切分策略带来的锯齿效应，提升了模型在高分辨率图像处理和文档理解任务的性能。它在多项基准测试中取得了领先的成绩，证明了其在多模态理解和文档智能领域的潜力。
芯片物理布局，有了直指性能指标的新测评标准！
跨GPU的注意力并行，最高提速8倍，支持512万序列长度推理。
时至今日，晶体学所测定的结构细节和精度，从简单的金属到大型膜蛋白，是任何其他方法都无法比拟的。然而，最大的挑战——所谓的相位问题，仍然是从实验确定的振幅中检索相位信息。
在过去的几年中，大型语言模型（Large Language Models, LLMs）在自然语言处理（NLP）领域取得了突破性的进展。这些模型不仅能够理解复杂的语境，还能够生成连贯且逻辑严谨的文本。
自从 Sora 发布以来，AI 视频生成领域变得更加「热闹」了起来。过去几个月，我们见证了即梦、Runway Gen-3、Luma AI、快手可灵轮番炸场。
仅需15秒即可搞定随机规划问题，速度比传统方法快了1440倍！
OpenAI推出了结构化输出功能，确保API输出与JSON模式精确匹配，提高数据生成的可靠性。
LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。
前段时间冲上热搜的问题「9.11比9.9大吗？」，让几乎所有LLM集体翻车。看似热度已过，但AI界大佬Andrej Karpathy却从中看出了当前大模型技术的本质缺陷，以及未来的潜在改进方向。
有CPU就能跑大模型，性能甚至超过NPU/GPU！
用光训练神经网络，清华成果最新登上了Nature！
今日获悉，由莫斯科国立大学举办的 MSU 世界视频编码器大赛结果揭晓。在全部参赛编码器中，腾讯编码器包揽所有 15 项指标的全部第一，再次斩获全场最佳。
专注于计算机图形学的全球学术顶会 SIGGRAPH，正在出现新的趋势。
