
Hinton揭秘Ilya成长历程:Scaling Law是他学生时代就有的直觉
Hinton揭秘Ilya成长历程:Scaling Law是他学生时代就有的直觉2003年夏天的一个周日,AI教父Hinton在多伦多大学的办公室里敲代码,突然响起略显莽撞的敲门声。
2003年夏天的一个周日,AI教父Hinton在多伦多大学的办公室里敲代码,突然响起略显莽撞的敲门声。
在 AI 领域,扩展定律(Scaling laws)是理解 LM 扩展趋势的强大工具,其为广大研究者提供了一个准则,该定律在理解语言模型的性能如何随规模变化提供了一个重要指导。
近年来,「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用,通过大规模训练得到的视觉基础网络(如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等)已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。
当计算预算低时,重复使用高质量数据更好;当不差钱时,使用大量数据更有利。
“Scaling Law不是万金油”——关于大模型表现,华为又提出了新理论。
AI-Native 的应用 Day One 就应该收费。这几乎是开发者当下的共识。
过去几年,借助Scaling Laws的魔力,预训练的数据集不断增大,使得大模型的参数量也可以越做越大,从五年前的数十亿参数已经成长到今天的万亿级,在各个自然语言处理任务上的性能也越来越好。
“中国有世界上最好最优秀的B端和C端市场,把做AI应用的门槛和成本降下来,就会激发出更大的产业应用空间。”
4月24日,商汤集团在港交所暂停交易,暂停交易前上涨31.15%。商汤集团回应,“昨日日日新大模型5.0发布会广受好评,受到市场极大关注;依照上市规则及港交所建议,公司将进一步刊发相关公告。”
Google RT-2、Figure 01 机器人、特斯拉 Optimus 等的新演示让「具身智能」这一概念成为了机器人和大模型领域的热门话题