比尔盖茨最新访谈：Scaling Law快要走到尽头，超人AI还需新的突破
比尔盖茨最新访谈：Scaling Law快要走到尽头，超人AI还需新的突破在盖茨眼里，AI对于计算机交互的革命还没来到，但是Scaling Law似乎已经看到尽头了。
来自主题: AI资讯
9254 点击 2024-07-02 14:54
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在盖茨眼里，AI对于计算机交互的革命还没来到，但是Scaling Law似乎已经看到尽头了。
只需几分钟、一张图或一句话，就能完成时空一致的4D内容生成。
虽然 OpenAI 反复强调 Scaling Law 是大模型最重要的原则，但事实上，GPT-4 在过去一年里缩小了 10 倍。
在GPT-4发布后14.5个月里，LLM领域似乎已经没什么进步了？近日，马库斯的一句话引发了全网论战。大模型烧钱却不赚钱，搞AI的公司表示：难办！
AGI太遥远，只有模型降价是共识。
什么是 AGI？大模型和 Scaling Law 是其实现基座吗？怎么看价格战？四家大模型公司给出了自己的答案。
训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，Epoch AI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。
过去十年间，基于随机梯度下降（SGD）的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中，Adam 及其变种最受追捧。无论是 SGD，还是 Adam，亦或是其他优化器，最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。
一般而言，训练神经网络耗费的计算量越大，其性能就越好。在扩大计算规模时，必须要做个决定：是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。
Scaling law发展到最后，可能每个人都站在一个数据孤岛上。