搜索
这几天，一些人卖DeepSeek课的事冲上了热搜。什么9.9元的DeepSeek入门课，到几百块钱的deepseek变现特训营，再到线下动辄上万的本地AI训练师。甚至有卖家打出“三天精通AI，月入10万”的口号。闲鱼都快被卖课的屠榜了。
相比LLM和Agent领域日新月异、高度成熟的进展相比，数据收集方面的规范有明显滞后。由超过50名研究人员组成的「数据溯源计划」（DPI）旨在回答这样一个问题：AI训练所需的数据究竟来自何处？
AI具备的能力，本质上来自算法和训练大模型所用的数据，数据的数量和质量会对大模型起到决定性作用。此前OpenAI工作人员表示，因没有足够多的高质量数据，Orion项目（即GPT-5）进展缓慢。不得已之下，OpenAI招募了许多数学家、物理学家、程序员原创数据，用于训练大模型。
AI训练即将进入语料比拼阶段 Reddit 在过去的 2024 年算得上是容光焕发。这家创立了近 20 年的社交平台，去年 3 月在纽交所完成上市，并在上市后的第三季度实现首次盈利，到目前股票已涨到上市首日开盘价的 350% 左右。
大模型浪潮下，AI与其背后的通信网络存在密不可分的联系，可以总结为Network for AI和AI for Network两层关系—— 我们用网络加速AI训练推理，通过AI手段让网络变得更加安全可靠。
曾任OpenAI核心研发者的Suchir Balaji，于10月发文直指ChatGPT等生成式AI违背「合理使用」原则。然而，上月底26岁的他被发现离世，疑为自杀。马库斯发文悼念，称Suchir是个勇敢的年轻人，他对AI训练数据的版权问题提出的担忧「切中要害」。
因为比特币挖矿和AI训练都需要大量的能源和算力。两者的同步发展势必在电力和硬件资源上产生竞争。这意味着AI训练业务可能会受到比特币价格波动的影响，尤其是当矿工们争夺有限的硬件资源时。也就是说比特币价格的上涨，可能会带动AI训练成本的提升。
2024年7月22日凌晨，xAI创始人Elon Musk在推特上正式宣布，在凌晨4:20分正式启动了世界上最强的AI训练集群。 这个训练集群建设在美国田纳西州孟菲斯市，集合了10 万个液冷H100芯片。
LLM训练速度还可以再飙升20倍！英伟达团队祭出全新架构归一化Transformer（nGPT），上下文越长，训练速度越快，还能维持原有精度。
谁更懂AI训练，是人类还是AI自己？