英伟达开源福利：视频生成、机器人都能用的SOTA tokenizer
英伟达开源福利：视频生成、机器人都能用的SOTA tokenizertokenizer对于图像、视频生成的重要性值得重视。
来自主题: AI技术研报
3065 点击 2024-11-23 16:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
tokenizer对于图像、视频生成的重要性值得重视。
开源模型阵营又迎来一员猛将：Tülu 3。它来自艾伦人工智能研究所（Ai2），目前包含 8B 和 70B 两个版本（未来还会有 405B 版本），并且其性能超过了 Llama 3.1 Instruct 的相应版本！长达 73 的技术报告详细介绍了后训练的细节。
Claude 3.5 Sonnet 应该是目前公认综合能力最好的基础模型。
大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。
自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来，全球掀起了一场 AI 能力 “复现” 竞赛。近日，上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破，通过简单的知识蒸馏方法，团队成功使基础模型在数学推理能力上超越 o1-preview。
在多模态AI领域，基于预训练视觉编码器与MLLM的方法（如LLaVA系列）在视觉理解任务上展现出卓越性能。
最近，Jim Fan参与的一项研究推出了自动化数据生成系统DexMimicGen。该系统可基于少量人类演示，合成类人机器人的灵巧手运动轨迹，解决了训练数据集的获取难题，而且还提升了实验中机器人的表现。
Scaling Law撞墙，扩展语言智能体的推理时计算实在太难了！破局之道，竟是使用LLM作为世界模型？OSU华人团队发现，使用GPT-4o作为世界模型来支持复杂环境中的规划，潜力巨大。
今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。
Powerful AI 预计会在 2026 年实现，足够强大的 AI 也能够将把一个世纪的科研进展压缩到 5-10 年实现（“Compressed 21st Century”），在他和 Lex Fridman 的最新对谈中，Dario 具体解释了自己对于 Powerful AI 可能带来的机会的理解，以及 scaling law、RL、Compute Use 等模型训练和产品的细节进行了分享