最近，多个机构学者合著的一篇研究为AI的规模化指了一条新路：物理神经网络（PNN），这一新兴的前沿领域还鲜少有人涉足，但绝对值得深耕！AI模型再扩展1000倍的秘密可能就藏在这里。
Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。
这几年，人们都在谈论大模型。特别是在 Scaling Law 的指导下，人们寄希望于将更大规模的数据用于训练，以无限提升模型的智能水平。在中国，「数据」作为一种与土地、劳动力、资本、技术并列的生产要素，价值越来越被重视。
「Scaling Law is not enough，虽然有红利，但并不能通往真正的 AGI。」
Scaling Law 持续见效，让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年，META、Google、微软这些巨头也从 2022 年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 AI 主战场的标配。」
只有10亿参数的xLAM-1B在特定任务中击败了LLM霸主：OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。上个月刚发布的苹果智能模型只有30亿参数，就连奥特曼都表示，我们正处于大模型时代的末期。那么，小语言模型（SLM）会是AI的未来吗？
在盖茨眼里，AI对于计算机交互的革命还没来到，但是Scaling Law似乎已经看到尽头了。
只需几分钟、一张图或一句话，就能完成时空一致的4D内容生成。
虽然 OpenAI 反复强调 Scaling Law 是大模型最重要的原则，但事实上，GPT-4 在过去一年里缩小了 10 倍。
在GPT-4发布后14.5个月里，LLM领域似乎已经没什么进步了？近日，马库斯的一句话引发了全网论战。大模型烧钱却不赚钱，搞AI的公司表示：难办！
