从2019年到现在，是时候重新审视Tokenization了
从2019年到现在，是时候重新审视Tokenization了2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
来自主题: AI技术研报
10317 点击 2025-01-04 14:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
2024年不愧是“具身智能元年”。 在刚刚结束的第十三届中国创新创业大赛新技术赛道中，一家具身机器人公司脱颖而出，斩获总决赛亚军，跻身全国50强。
那时GPT-2刚刚发布，我很清楚技术的发展轨迹，这样的模型表面上是互联网或网页的模型，但肯定会带来一些非常有趣的东西。于是我打电话给Nick和其他的朋友们，我说“我们应该弄清楚怎么打造这些东西”。
今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。
传说，国王山路亚尔生性残忍多疑，杀死背叛他的王后，从此每晚迎娶新娘，又在天亮时将其处死。为了终止暴行，大臣的女儿山鲁佐德自愿出嫁，用故事吸引国王，一直讲了一千零一夜。
近日，关于 Open AI 被投企业 Physical Intelligence (PI) 的一系列报道，让人们关注到具身智能大模型引发的机器人时代变革。
AI界最有影响力的两个人，同时出现在一场活动： OpenAI CEO奥特曼，暗示了o1满血版将在接下来几个月发布。
MidReal 创始人陈锴杰，持续创业者，大学毕业后一直在创业，从18 ~19 年休学创业做家庭智能机器人，到2020 年开始第二次创业做 AI agent for Gaming，曾基于 GPT-2 等技术，在 ChatGPT 推出前实现“斯坦福小镇”等创新游戏模式，目前在做的是 AI 互动的小说故事创作，也就是今天的 MidReal。
2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。
论老黄卖铲子的技术含量。