手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据
手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据过去几年,借助Scaling Laws的魔力,预训练的数据集不断增大,使得大模型的参数量也可以越做越大,从五年前的数十亿参数已经成长到今天的万亿级,在各个自然语言处理任务上的性能也越来越好。
来自主题: AI技术研报
11182 点击 2024-05-06 21:36
过去几年,借助Scaling Laws的魔力,预训练的数据集不断增大,使得大模型的参数量也可以越做越大,从五年前的数十亿参数已经成长到今天的万亿级,在各个自然语言处理任务上的性能也越来越好。
“中国有世界上最好最优秀的B端和C端市场,把做AI应用的门槛和成本降下来,就会激发出更大的产业应用空间。”
近日,朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3:知识的 Scaling Laws》用海量实验(50,000 条任务,总计 4,200,000 GPU 小时)总结了 12 条定律,为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。
T之家 11 月 29 日消息,亚马逊在公司一年一度的 AWS Reinvent 大会上推出了名为 Amazon Q 的新型聊天机器人,它旨在帮助企业和员工更好地利用亚马逊网络服务(AWS)。
Bedrock于今年4月初发布,允许AWS客户构建基于生成式人工智能模型的应用程序,并使用其专有数据进行定制。利用这些模型,品牌和开发人员还可以创建AI“代理人”,自动执行诸如预订旅行、管理库存和处理保险索赔等任务。