AI 研究走过的最大弯路，就是过于重视人类既有经验和知识。
来自主题: AI资讯
3649 点击 2024-03-06 10:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
AI 研究走过的最大弯路，就是过于重视人类既有经验和知识。
大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。
Dwarkesh 预计，有 70% 左右的概率人们能够通过 scaling 在 2024 年之前实现更强的 AI，这种 AI 能够实现大量认知劳动的自动化，进而促进 AI 的进一步发展。但如果 scaling law 失效，那么实现 AGI 的过程会非常漫长和艰难。
计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？