LoRA能否与全参微调性能相当？在Thinking Machines的最新论文中，他们研究了LoRA与FullFT达到相近表现的条件。Thinking Machines关注LoRA，旨在推动其更广泛地应用于各种按需定制的场景，同时也有助于我们更深入审视机器学习中的一些基本问题。
还在为 LoRA 训练不稳定、模型融合效果差、剪枝后性能大降而烦恼吗？来自香港城市大学、南方科技大学、浙江大学等机构的研究者们提出了一种简单的渐进式训练策略，CoTo，通过在训练早期随机失活一部分适配器，并逐渐提高其激活概率，有效缓解了层级不均衡问题，并显著增强了模型在多任务融合和剪枝等操作上的鲁棒性和有效性。该工作已被机器学习顶会 ICML 2025 接收。
随着Gemini、GPT-4o等商业大模型把基于文本的图像编辑这一任务再次推向高峰，获取更高质量的编辑数据用于训练、以及训练更大参数量的模型似乎成了提高图像编辑性能的唯一出路。然而浙大哈佛这个团队却反其道而行之，仅用以往工作0.1%的数据量（获取自公开数据集）和1%的训练参数，以极低成本实现了图像的高质量编辑，在一些方面媲美甚至超越商业大模型！
南加州大学团队只用9美元，就能在数学基准测试AIME 24上实现超过20%的推理性能提升，效果好得离谱！而其核心技术只需LoRA+强化学习，用极简路径实现超高性价比后训练。
LoRA 中到底存在多少参数冗余？这篇创新研究介绍了 LoRI 技术，它证明即使大幅减少 LoRA 的可训练参数，模型性能依然保持强劲。
可以生成无限时长的视频生成模型终于来了！
低秩适配器（LoRA）能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 性能。
AI能像人类一样理解长视频。
在Stable Diffusion当中，只需加入一个LoRA就能根据图像创建3D模型了？
又添新鲜血液。根据 TechCrunch 报道，由一位华人创始人 Weber Wong 开发的 AI 创意工具 Flora 于 3 月 1 日正式上线。时至今日，AI 图像与视频赛道的产品和格局已经有点固化了，能够有新鲜产品加入，还是华人创始人，确实很令人惊喜。
