离职OpenAI五个月后，AI大神Karpathy终于宣布自创业了。一家专注于AI+教育原生学校Eureka Labs，未来将面向全球80亿人，从0按需辅导AI。从产业界转身教育事业，是Karpathy近20年来的终极梦想，现如愿成真。
论老黄卖铲子的技术含量。
让我们训练一个 Storyteller。
距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。
万众瞩目的WWDC24上，苹果果然用AI把iPhone全部重塑。重磅登场的Apple Intelligence，让苹果全系产品有了史诗级升级。Siri被全面重塑，自由穿梭于系统中。AI大牛Karpathy对此狂赞，然而马斯克却彻底怒了，下令全员禁用苹果！
AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。
大神Karpathy已经不满足于用C语言造Llama了！ 他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。
Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注。代码非常详细地展现了Llama所使用的Transformer架构，甚至让Andrej Karpathy亲自下场「背书」。
关于大模型分词（tokenization），大神Karpathy刚刚推荐了一篇必读新论文。
