从2019年到现在，是时候重新审视Tokenization了
从2019年到现在，是时候重新审视Tokenization了2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
来自主题: AI技术研报
8663 点击 2025-01-04 14:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
根据 The Information 报道，字节跳动计划 2025 年斥资 70 亿美元投入英伟达最新的 Blackwell 芯片，该计划由张一鸣主导。
AGI的定义，微软和OpenAI早就悄悄谋定了。 主要评判维度不看技术，而是收益。 The Information爆料，2023年双方达成秘密协定——OpenAI需要研发出能够带来1000亿美元收益的AI系统，才能被视为实现AGI。
Hippocratic AI 的使命是打造首个以安全性为核心的医疗领域大语言模型（LLM）。
在大语言模型和 AIGC 的热潮下，科研人员对构建「视觉对话智能体」（Visual Chat Agent）展现出极大兴趣。其中，可实时交互的人像生成技术（Audio-Driven Real-Time Interactive Head Generation）是实现链路中极为关键的一环。
最近，硅谷最有影响力且以“独家”、“深度”著称的科技媒体之一The Information发布了2024「全球50家最具潜力初创公司榜」。
“我在AI领域做了七年的产品经理，现在是一名创业者，一年多中上线了2款自己的AI Native应用，最近分享一些个人观察和思考：我觉得，这波AI浪潮最重要的特征，是让高度个性化的服务实现规模化成为可能。
按照计划，细红线将在蛇年春节前后发布首款新品，据了解，这个新品的主菜是软件方案，并附带了一款AI native硬件，“理念非常超前”，一位内部员工如是认为。不过内部对于这款产品的销量暂不抱期待，“新事物往往没有可参照对象”。
The Information消息，初代GPT论文第一作者Alec Radford也要离开OpenAI，转向独立研究。据了解， Alec于2016年加入OpenAI，从初代GPT到GPT-4o的论文中全都有他的名字，其中前两代还是第一作者。
LLM 强大的语言能力，使其被广泛部署于 LLM 应用系统（LLM-integrated applications）中。此时，LLM 需要访问外部数据（如文件，网页，API 返回值）来完成任务。