
从80个模型中构建Scaling Law:华人博士生新作,思维链提出者力荐
从80个模型中构建Scaling Law:华人博士生新作,思维链提出者力荐在 AI 领域,扩展定律(Scaling laws)是理解 LM 扩展趋势的强大工具,其为广大研究者提供了一个准则,该定律在理解语言模型的性能如何随规模变化提供了一个重要指导。
来自主题: AI技术研报
4592 点击 2024-05-24 20:52
在 AI 领域,扩展定律(Scaling laws)是理解 LM 扩展趋势的强大工具,其为广大研究者提供了一个准则,该定律在理解语言模型的性能如何随规模变化提供了一个重要指导。
过去几年,借助Scaling Laws的魔力,预训练的数据集不断增大,使得大模型的参数量也可以越做越大,从五年前的数十亿参数已经成长到今天的万亿级,在各个自然语言处理任务上的性能也越来越好。
“中国有世界上最好最优秀的B端和C端市场,把做AI应用的门槛和成本降下来,就会激发出更大的产业应用空间。”
近日,朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3:知识的 Scaling Laws》用海量实验(50,000 条任务,总计 4,200,000 GPU 小时)总结了 12 条定律,为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。
T之家 11 月 29 日消息,亚马逊在公司一年一度的 AWS Reinvent 大会上推出了名为 Amazon Q 的新型聊天机器人,它旨在帮助企业和员工更好地利用亚马逊网络服务(AWS)。
Bedrock于今年4月初发布,允许AWS客户构建基于生成式人工智能模型的应用程序,并使用其专有数据进行定制。利用这些模型,品牌和开发人员还可以创建AI“代理人”,自动执行诸如预订旅行、管理库存和处理保险索赔等任务。