AI资讯新闻榜单内容搜索-Scaling

关键词: 大模型,Scaling Law,模型训练

大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。

关键词: Scaling,AGI,OpenAI,sora

Dwarkesh 预计，有 70% 左右的概率人们能够通过 scaling 在 2024 年之前实现更强的 AI，这种 AI 能够实现大量认知劳动的自动化，进而促进 AI 的进一步发展。但如果 scaling law 失效，那么实现 AGI 的过程会非常漫长和艰难。

关键词: Scaling Law,模型训练,LLM训练

计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？