搜索
在多模态大模型（MLLM）快速发展的浪潮中，融合多模型 “集体智慧” 已成为提升模型性能的关键路径，并催生了多教师知识蒸馏这一主流范式。然而，不同来源的教师模型在架构与优化上的差异，其在相似推理过程中呈现出不稳定甚至偏移的认知轨迹，即 “概念漂移”（Concept Drift）。
复旦大学与微软亚洲研究院带来的 ArcFlow 给出了答案：如果路是弯的，那就学会 “漂移”，而不是把路修直。在扩散模型中，教师模型（Pre-trained Teacher）的生成过程本质上是在高维空间中求解微分方程并进行多步积分。由于图像流形的复杂性，教师模型原本的采样轨迹通常是一条蜿蜒的曲线，其切线方向（即速度场）随时间步不断变化。
Thinking模式当道，教师模型也该学会“启发式”教学了—— 由Transformer作者之一Llion Jones创立的明星AI公司Sakana AI，带着他们的新方法来了！
StyleStudio能解决风格迁移中风格过拟合、文本对齐差和图像不稳定的问题，通过跨模态AdaIN技术融合文本和风格特征、用教师模型稳定布局、引入基于风格的无分类器引导，实现精准控制风格元素，提升生成图像的质量和稳定性，无需额外训练，使用门槛更低！
知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map，提高学生模型的准确性。迁移学习则通常通过预训练和微调，将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。
DeepMind最近的研究提出了一种新框架AligNet，通过模拟人类判断来训练教师模型，并将类人结构迁移到预训练的视觉基础模型中，从而提高模型在多种任务上的表现，增强了模型的泛化性和鲁棒性，为实现更类人的人工智能系统铺平了道路。