干货满满！大神Karpathy两小时AI大课文字版第一弹，全新工作流自动把视频转成文章
干货满满！大神Karpathy两小时AI大课文字版第一弹，全新工作流自动把视频转成文章「从头开始构建GPT分词器」文字版来了。
来自主题: AI资讯
2201 点击 2024-02-24 15:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
「从头开始构建GPT分词器」文字版来了。
终有一天，LLM可以成为人类数据专家，针对不同领域进行数据分析，大大解放AI研究员。
去年年底，谷歌 Gemini 震撼了业界，它是谷歌「最大、最有能力和最通用」的 AI 系统，号称第一个原生多模态大模型，能力超越 GPT-4，也被认为是谷歌反击微软和 OpenAI 的强大工具。
ChatGPT突然失去理智，被网友们吵翻了天。许多用户在请求ChatGPT问题时，发现它开始胡言乱语，大篇重复。不一会儿，OpenAI给出官方解释：下一token概率预测相关，目前bug已修复。
当我们还在困扰为什么国内大模型没有GPT4好用的时候，Sora来了。这潜在意味着从AGI视角看，追赶一年后差距似乎并没有缩小反倒是被拉大了。
各大社区迅速充满了ChatGPT用户们的“？？？？”“它中风了？”
大模型进场，从指标的量化开始做起
AI技术让人类重新审视技术保守主义者的观点，当普通人在AI大潮中难以保全自己时，思考技术发展的正当性似乎成了有价值的事情。
大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
在微调大型模型的过程中，一个常用的策略是“知识蒸馏”，这意味着借助高性能模型，如GPT-4，来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似，把GPT-4等模型视为更接近唯一的逻辑或真理的存在。