搜索
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。
Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注。代码非常详细地展现了Llama所使用的Transformer架构，甚至让Andrej Karpathy亲自下场「背书」。
关于大模型分词（tokenization），大神Karpathy刚刚推荐了一篇必读新论文。
没想到，自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。
一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」
纯C语言训练GPT，1000行代码搞定！，不用现成的深度学习框架，纯手搓。 发布仅几个小时，已经揽星2.3k。
能打得过GPT-4的开源模型出现了！
「Real men program in C.」 众所周知，大语言模型还在快速发展，应该有很多可以优化的地方。我用纯 C 语言来写，是不是能优化一大截？ 也许很多人开过这样的脑洞，现在有大佬实现了。
训大模型的方法可能要被革新了！AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2，而不再依赖庞大的GPT-2库。他本人预告，即将上线新课。
一家大模型初创公司从创立到训练出大模型，要克服怎样的难题？前谷歌科学家离职后创业一年，发文自述算力是训练大模型的难点。