
港大马毅团队等开源新作:用编码率正则化重构视觉自监督学习范式,“少即是多”
港大马毅团队等开源新作:用编码率正则化重构视觉自监督学习范式,“少即是多”最新开源的视觉预训练方法,马毅团队、微软研究院、UC伯克利等联合出品!
来自主题: AI技术研报
4760 点击 2025-03-09 10:54
最新开源的视觉预训练方法,马毅团队、微软研究院、UC伯克利等联合出品!
从开源与闭源的竞争,到多模态AI与自监督学习,再到能效优化和AI伦理的深入探讨,AI技术的演进将继续带来前所未有的创新机会。
近日,来自斯坦福、MIT、纽约大学和Meta-FAIR等机构的研究人员,通过新的研究重新定义了最大流形容量表示法(MMCR)的可能性。
用扩散模型搞社交信息推荐,怎么解决数据噪声难题?现有的一些自监督学习方法效果还是有限。
推荐系统对于应对信息过载挑战至关重要,它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展,提升了对用户行为和偏好的洞察力。
语言建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中,使用这样的模型进行训练和推断可能会成本高昂,这促使人们使用较小的替代模型。然而,已经观察到较小的模型可能会出现饱和现象,表现为在训练的某个高级阶段性能下降并趋于稳定。