苹果发现原生多模态模型Scaling Laws：早融合优于后融合，MoE优于密集模型
苹果发现原生多模态模型Scaling Laws：早融合优于后融合，MoE优于密集模型让大模型进入多模态模式，从而能够有效感知世界，是最近 AI 领域里人们一直的探索目标。
来自主题: AI技术研报
5864 点击 2025-04-16 14:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
让大模型进入多模态模式，从而能够有效感知世界，是最近 AI 领域里人们一直的探索目标。
在大模型争霸的时代，算力与效率的平衡成为决定胜负的关键。
字节跳动豆包团队今天发布了自家新推理模型 Seed-Thinking-v1.5 的技术报告。从报告中可以看到，这是一个拥有 200B 总参数的 MoE 模型，每次工作时会激活其中 20B 参数。其表现非常惊艳，在各个领域的基准上都超过了拥有 671B 总参数的 DeepSeek-R1。有人猜测，这就是字节豆包目前正在使用的深度思考模型。
商汤最新升级的日日新SenseNova V6解锁的新能力—— 原生多模态通用大模型，采用6000亿参数MoE架构，实现文本、图像和视频的原生融合。从性能评测来看，SenseNova V6已经在纯文本任务和多模态任务中，多项指标均已超越GPT-4.5、Gemini 2.0 Pro，并全面超越DeepSeek V3：
刚刚，Kimi团队上新了！
AI不过周末，硅谷也是如此。大周日的，Llama家族上新，一群LIama 4就这么突然发布了。这是Meta首个基于MoE架构模型系列，目前共有三个款：Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。
通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
最近，全球 AI 和机器学习顶会 ICLR 2025 公布了论文录取结果：由 IDEA、清华大学、北京大学、香港科技大学（广州）联合团队提出的 ChartMoE 成功入选 Oral (口头报告) 论文。据了解，本届大会共收到 11672 篇论文，被选中做 Oral Presentation（口头报告）的比例约为 1.8%
当你翻开相册，看到一张平淡无奇的风景照，是否希望它能更温暖、更浪漫，甚至更忧郁？现在，EmoEdit 让这一切成为可能 —— 只需输入一个简单的情感词，EmoEdit 便能巧妙调整画面，使观众感知你想传递的情感。
过去十年，自然语言处理领域经历了从统计语言模型到大型语言模型（LLMs）的飞速发展。