
清华团队构建大型社会模拟器AgentSociety,推动智能社会治理与研究范式变革
清华团队构建大型社会模拟器AgentSociety,推动智能社会治理与研究范式变革“凡我无法创造的,我就无法真正理解。” -- 费曼
“凡我无法创造的,我就无法真正理解。” -- 费曼
离开OpenAI后,他们俩把ChatGPT后训练方法做成了PPT,还公开了~
Transformer 架构在过去几年中通过注意力机制在多个领域(如计算机视觉、自然语言处理和长序列任务)中取得了非凡的成就。然而,其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长,导致资源消耗巨大,难以扩展到更长的序列或更大的模型。
我们正见证一场静默的推理革命。传统AI训练如同盲人摸象,依赖碎片化文本拼凑认知图景,DeepSeek-AI团队的CODEI/O范式首次让机器真正"理解"了推理的本质——它将代码执行中蕴含的逻辑流,转化为可解释、可验证的思维链条,犹如为AI装上了解剖推理过程的显微镜。
RedStone是一个高效构建大规模指定领域数据的处理管道,通过优化数据处理流程,从Common Crawl中提取了RedStone-Web、RedStone-Code、RedStone-Math和RedStone-QA等数据集,在多项任务中超越了现有开源数据集,显著提升了模型性能。
强化学习训练数据越多,模型推理能力就越强?新研究提出LIM方法,揭示提升推理能力的关键在于优化数据质量,而不是数据规模。该方法在小模型上优势尽显。从此,强化学习Scaling Law可能要被改写了!
用扩散模型替代自回归,大模型的逆诅咒有解了!
用代码训练大模型思考,其他方面的推理能力也能提升。
36氪获悉,具身智能创业公司“自变量机器人(X Square Robot)”完成数亿元Pre-A++轮融资。本轮融资由光速光合与君联资本领投、北京机器人产业基金、神骐资本跟投。融资将用于下一代统一具身智能通用大模型的训练与场景落地。
尽管多模态大模型在通用视觉理解任务中表现出色,但不具备细粒度视觉识别能力,这极大制约了多模态大模型的应用与发展。针对这一问题,北京大学彭宇新教授团队系统地分析了多模态大模型在细粒度视觉识别上所需的 3 项能力:对象信息提取能力、类别知识储备能力、对象 - 类别对齐能力,发现了「视觉对象与细粒度子类别未对齐」