AI时代不看独角兽，看10亿Tokens日均消耗
AI时代不看独角兽，看10亿Tokens日均消耗创立10年内估值超过10亿美元的创新公司，被称之为独角兽，它们是市场潜力无限的绩优股，是为行业带来技术创新、模式创新的佼佼者。
来自主题: AI资讯
8260 点击 2025-01-23 13:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
创立10年内估值超过10亿美元的创新公司，被称之为独角兽，它们是市场潜力无限的绩优股，是为行业带来技术创新、模式创新的佼佼者。
研究者提出了FAST，一种高效的动作Tokenizer。通过结合离散余弦变换（DCT）和字节对编码（BPE），FAST显著缩短了训练时间，并且能高效地学习和执行复杂任务，标志着机器人自回归Transformer训练的一个重要突破。
大模型应用落地元年，谁家业务更值得关注？
2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
就在OpenAI热闹的12天发布会刚刚落下帷幕，谷歌的火力全开新模型Voe2和Gemnini2吸引了全球AI开发者的眼球时，Meta作为三巨头之一则在筹划着一场静悄悄的革命。
Sora、Genie等模型会都用到的Tokenizer，微软下手了—— 开源了一套全能的Video Tokenizer，名为VidTok。
BLT 在许多基准测试中超越了基于 token 的架构。
大语言模型直接理解复杂图结构的新方法来了：
tokenizer对于图像、视频生成的重要性值得重视。
卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization（RLT），被NeurIPS 2024选为Spotlight论文。 在精度几乎没有损失的前提下，RLT可以让模型训练和推理速度双双提升。