是时候把数据Scale Down了！Llama 3揭示了这个可怕的事实：数据量从2T增加到15T，就能大力出奇迹，所以要想要有GPT-3到GPT-4的提升，下一代模型至少还要150T的数据。好在，最近有团队从CommonCrawl里洗出了240T数据——现在数据已经不缺了，但你有卡吗？
一直以来，UC伯克利团队的LMSYS大模型排行榜，深受AI圈欢迎。如今，最有实力的全新大模型排行榜SEAL诞生，得到AI大佬的转发。它最大的特点是在私有数据上，由专家严格评估，并随时间不断更新数据集和模型。
Alexandr Wang创办的Scale AI是一个为AI模型提供训练数据的数据标注平台，近期完成新一轮10亿美元融资，估值飙升至138亿美元。该公司表示将利用新资金生产丰富的前沿数据，为通向AGI铺平道路。
智东西5月22日消息，昨晚，95后华裔天才Alexander Wang宣布，其创办的美国AI数据标注创企Scale AI获得10亿美元F轮融资，估值翻倍至138亿美元（折合约999亿人民币）。
大模型和 AI 数据库双剑合璧，成为大模型降本增效，大数据真正智能的制胜法宝
近日，来自香港中文大学 - 商汤科技联合实验室等机构的研究者们提出了FouriScale，该方法在利用预训练扩散模型生成高分辨率图像方面取得了显著提升。
今天，芯片初创公司Cerebras Systems推出了全新的Wafer Scale Engine 3，并将其现有的最快 AI 芯片世界纪录加倍。
本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。
根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Transformer 和扩散模型结合，展现了卓越的扩展（scale）特性。
在AI大模型初创企业普遍还处于入不敷出、疯狂烧钱的阶段时，一家专注于AI数据服务的初创企业已经赚得盆满钵满，成为收入最高的AI创业公司之一。
