五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活
五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活论老黄卖铲子的技术含量。
来自主题: AI资讯
10621 点击 2024-07-12 17:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
论老黄卖铲子的技术含量。
距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。
AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。
大神Karpathy已经不满足于用C语言造Llama了！ 他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。
OpenAI正在秘密A/B测试下一代模型，实力超强被怀疑是GPT-4.5或GPT-5。
答案揭晓了！ 「神秘gpt2-chatbot不是GPT-4.5」。
一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」
纯C语言训练GPT，1000行代码搞定！，不用现成的深度学习框架，纯手搓。 发布仅几个小时，已经揽星2.3k。
近日，朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3：知识的 Scaling Laws》用海量实验（50,000 条任务，总计 4,200,000 GPU 小时）总结了 12 条定律，为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。
「Real men program in C.」 众所周知，大语言模型还在快速发展，应该有很多可以优化的地方。我用纯 C 语言来写，是不是能优化一大截？ 也许很多人开过这样的脑洞，现在有大佬实现了。