过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。
来自主题: AI技术研报
9711 点击 2024-05-06 21:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。
“中国有世界上最好最优秀的B端和C端市场，把做AI应用的门槛和成本降下来，就会激发出更大的产业应用空间。”
4月24日，商汤集团在港交所暂停交易，暂停交易前上涨31.15%。商汤集团回应，“昨日日日新大模型5.0发布会广受好评，受到市场极大关注；依照上市规则及港交所建议，公司将进一步刊发相关公告。”
Google RT-2、Figure 01 机器人、特斯拉 Optimus 等的新演示让「具身智能」这一概念成为了机器人和大模型领域的热门话题
CUDA 是英伟达的壁垒， 推理场景是算力未来的重点
新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了
在这个风起云涌的 AI 时代，一场前所未有的资本军备竞赛正在火热上演。算力、算法、数据，这些被视为 AI 领域的三大基石，正成为各大公司争夺的焦点。然而，在这场看似技术驱动的竞赛背后，低成本资金的获取却成为了决定胜负的隐形推手。
LLM战场的新玩家，一出手就是王炸！信仰Scaling Law的阶跃星辰，一口气带来了Step-1千亿参数语言大模型、Step-1V千亿参数多模态大模型，以及Step-2万亿参数MoE语言大模型的预览版。而阶跃星辰之旅，终点就是AGI。
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。
攀登 Scaling Law，打造万亿参数大模型，前微软 NLP 大牛姜大昕披露创业路线图。