关键词: AI,谢赛宁,扩散模型,模型训练

是什么让纽约大学著名研究者谢赛宁三连呼喊「Representation matters」？他表示：「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言，表征也依然有用。基于此，他们提出了 REPA，即表征对齐技术，其能让「训练扩散 Transformer 变得比你想象的更简单。」

关键词: LeCun,谢赛宁,多模态模型,Cambrian-1

近日，LeCun和谢赛宁等大佬，共同提出了这一种全新的SOTA MLLM——Cambrian-1。开创了以视觉为中心的方法来设计多模态模型，同时全面开源了模型权重、代码、数据集，以及详细的指令微调和评估方法。

关键词: AI,Agent,智能体,谢赛宁

近日，来自香港大学的Jihan Yang和纽约大学的谢赛宁等人发表了新的成果，将真实世界的地图、街景等各种信息融入Agent所在的虚拟世界，为智能体的未来赋予了无限可能。

关键词: sora,谢赛宁,OpenAI,DiT模型

误会了误会了，被传为“Sora作者之一”的上交大校友谢赛宁，本人紧急辟谣。

关键词: 扩散模型,何恺明,谢赛宁,解构扩散模型,l-DAE

大神最新论文刚刚挂上arXiv，还是热乎的：解构扩散模型，提出一个高度简化的新架构l-DAE（小写的L）。

关键词: LLM,马毅,LeCun,谢赛宁

来自纽约大学和UC伯克利的研究团队成功捕捉到了多模态大模型在视觉理解方面存在的重大缺陷。针对这个问题，他们进一步提出了一个将DINOv2特征与CLIP特征结合的方法，有效地提升了多模态大模型的视觉功能。