关键词: 大模型,scaling laws,人工智能,AI

非凡产研为大家整理编辑了近期微软CTO凯文·斯科特（Kevin Scott）接受红杉资本、Stratechery 采访回应关于大模型scaling laws、人工智能平台转变等焦点话题的精华内容。

关键词: AI视觉,模型训练,scaling,EfficientTrain++,AI算法

近年来，「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用，通过大规模训练得到的视觉基础网络（如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等）已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。

关键词: 模型训练,scaling,LLM,VLM,扩散模型

当计算预算低时，重复使用高质量数据更好；当不差钱时，使用大量数据更有利。

关键词: 训练大模型,scaling law,模型训练,chatGPT,minicpm

根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。