从2019年到现在，是时候重新审视Tokenization了
从2019年到现在，是时候重新审视Tokenization了2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
来自主题: AI技术研报
10362 点击 2025-01-04 14:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。
此项研究成果已被 AAAI 2025 录用。该论文的第一作者是南洋理工大学计算与数据科学学院 (CCDS) 的硕士生杨潇，师从苗春燕教授，主要研究方向是图神经网络。
电影《钢铁侠》中，托尼·斯塔克的助手贾维斯（J.A.R.V.I.S.）能帮他控制各种系统并自动完成任务，曾让无数观众羡慕不已。
马斯克被啪啪“打脸”，自家大模型Grok的draw me新生图功能抽疯，画人总是画不对。
自回归文生图，迎来新王者——
万字长文盘点 2024，展望 2025 2024 年，大语言模型（LLM）迎来了翻天覆地的变化。让我们一起回顾过去一年中这个领域的重大发现，梳理其中的关键主题和标志性时刻。
AI是工具，也是我们穿越生命洪流的舟楫 “刘春和只是脑瘫，不是个傻子。”
2025年，AI应用将何去何从？ 大模型从神话走向落地的故事教会我们：技术真正的想象力来自“脱敏”。在对过高的期许和泡沫脱敏以后，还要对技术本身脱敏
在今年的 NeurIPS 2024 大会上，硅谷最著名的 VC 之一 Conviction Capital 创始人 Sarah Guo 和合伙人 Pranav Reddy 做了一场 “AI 创业公司的现状（The State of AI Startups）”的分享。