Karpathy最新四小时视频教程：从零复现GPT-2，通宵运行即搞定
Karpathy最新四小时视频教程：从零复现GPT-2，通宵运行即搞定AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。
来自主题: AI资讯
9360 点击 2024-06-10 14:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。
即使Sora已经强势“炸”过场，Pika还是再次带着硅谷一众明星资方的投票回到了舆论中心。
上周末在推特平台上有一篇写在谷歌文档里短文，在国外的科技/投资圈得到了非常广泛的浏览，叫做 The End of Software ( 软件的终结 ), 作者 Chris Paik 是位于纽约市的风险投资基金 Pace Capital 的创始合伙人，他之前同样在谷歌文档里总结的自己的投资框架也得到广泛的阅读。
Cloudflare最近宣布AI Gateway已普遍可用。AI Gateway作为管理和扩展生成式AI工作负载的统一接口，让开发人员能够监控和控制AI应用程序。
最近，ChatTTS 这一语音生成项目在 GitHub 上迅速获得关注。截至6月4日，6天时间已经斩获18.9千个星标????。各大网友直呼太牛！按照这样的趋势，很快会突破2万stars。
北航的研究团队，用扩散模型“复刻”了一个地球？ 在全球的任意位置，模型都能生成多种分辨率的遥感图像，创造出丰富多样的“平行场景”。 而且地形、气候、植被等复杂的地理特征，也全都考虑到了。
英特尔为了AI，再次做出重大架构变革： 像手机一样搞起SoC（系统级芯片），你的下一台笔记本不会再有独立内存条。 刚刚推出的新一代AI PC低功耗移动平台架构Lunar Lake，采用全新MoP（Memory on Package）封装，片上集成16或32GB的LPDDR5X内存，无法再额外连接更多RAM。
过去十年间，基于随机梯度下降（SGD）的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中，Adam 及其变种最受追捧。无论是 SGD，还是 Adam，亦或是其他优化器，最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。
英特尔终究还是学了苹果。
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。