
Ilya错了?Scaling另有他用,ViT大佬力挺谷歌1000亿数据新发现
Ilya错了?Scaling另有他用,ViT大佬力挺谷歌1000亿数据新发现谷歌发布了1000亿文本-图像对数据集,是此前类似数据集的10倍,创下新纪录!基于新数据集,发现预训练Scaling Law,虽然对模型性能提升不明显,但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋!
来自主题: AI技术研报
5793 点击 2025-03-10 09:52
谷歌发布了1000亿文本-图像对数据集,是此前类似数据集的10倍,创下新纪录!基于新数据集,发现预训练Scaling Law,虽然对模型性能提升不明显,但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋!