回顾 AGI 的爆发，从最初的 pre-training (model/data) scaling，到 post-training (SFT/RLHF) scaling，再到 reasoning (RL) scaling，找到正确的 scaling 维度始终是问题的本质。
对 LLM 来说，Pre-training 的时代已经基本结束了。视频模型的 Scaling Law，瓶颈还很早。具身智能：完全具备人类泛化能力的机器人，在我们这代可能无法实现
2024又是AI精彩纷呈的一年。LLM不再是AI舞台上唯一的主角。随着预训练技术遭遇瓶颈，GPT-5迟迟未能问世，从业者开始从不同角度寻找突破。以o1为标志，大模型正式迈入“Post-Training”时代；开源发展迅猛，Llama 3.1首次击败闭源模型；中国本土大模型DeepSeek V3，在GPT-4o发布仅7个月后，用 1/10算力实现了几乎同等水平。
OpenAI谷歌天天刷流量，微软也坐不住了，推出最新小模型Phi-4。 参数量仅14B，MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。
随着对现有互联网数据的预训练逐渐成熟，研究的探索空间正由预训练转向后期训练（Post-training），OpenAI o1 的发布正彰显了这一点。
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。
前阵子，一段宠物主人与自家狗狗“对话”的短视频在社交平台火了。
AI“狗语翻译器”，让人类与狗跨物种交流。
Ellie是一条金毛犬，狗主人对着手机上一款APP应用发了一段语音：“HI Ellie，你能给我拿下遥控器吗？”
针对视觉-语言预训练（Vision-Language Pretraining, VLP）模型的对抗攻击，现有的研究往往仅关注对抗轨迹中对抗样本周围的多样性，但这些对抗样本高度依赖于代理模型生成，存在代理模型过拟合的风险。
