破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架
破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架大模型参数量飙升至千亿、万亿级，却陷入“规模越大，效率越低” 困境？中科院自动化所新研究给出破局方案——首次让MoE专家告别“静态孤立”，开启动态“组队学习”。
来自主题: AI技术研报
7719 点击 2025-10-13 10:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型参数量飙升至千亿、万亿级，却陷入“规模越大，效率越低” 困境？中科院自动化所新研究给出破局方案——首次让MoE专家告别“静态孤立”，开启动态“组队学习”。
AI竟然画不好一张 “准确” 的图表？AI生图标杆如FLUX.1、GPT-Image，已经能生成媲美摄影大片的自然图像，却在柱状图、函数图这类结构化图像上频频出错，要么逻辑混乱、数据错误，要么就是标签错位。
图片来源：David AI Labs David AI Labs 这家初创公司通过出售音频数据集来帮助训练人工智能模型，近期在新一轮融资中从投资者处筹集了 5000 万美元——这表明为 AI 开发提供
任少卿的头发很有辨识度，浓密、微卷，刘海盖住额头。走进会议室，第一次见他的人把他当成了实习生，知道身份后调侃说，只有在 AI 创业公司才能看到这么年轻的技术 leader。
本来这个国庆我真的想好好休息一下，但是放假之前写完那篇假期产品推荐之后，微信里就一直有人问我，能不能写一篇豆包的P图玩法教程。。。 一是不知道怎么用，二是不知道怎么写提示词来处理图片。 正好抖音上豆包
既然后训练这么重要，那么作为初学者，应该掌握哪些知识？大家不妨看看这篇博客《Post-training 101》，可以很好的入门 LLM 后训练相关知识。从对下一个 token 预测过渡到指令跟随； 监督微调（SFT） 基本原理，包括数据集构建与损失函数设计；
风雨飘摇中的Meta，于昨天发布了一篇重量级论文，提出了一种被称作「早期经验」（Early Experience）的全新范式，让AI智能体「无师自通」，为突破强化学习瓶颈提供了一种新思路。
当大语言模型生成海量数据时，数据存储的难题也随之而来。对此，华盛顿大学（UW）SyFI实验室的研究者们提出了一个创新的解决方案：LLMc，即利用大型语言模型自身进行无损文本压缩的引擎。
传统DFT计算太慢？SurFF来了！这个基础模型通过晶面生成、快速弛豫和Wulff构型，精准评估晶面可合成性与暴露度。SurFF相较于DFT实现了10⁵倍的加速，多源实验与文献验证一致率达73.1%。
AI公务员的大脑就是政务大模型。 就在刚刚，中央网信办和国。就在刚刚，中央网信办和国家发展改革委联合印发了重磅文件——《政务领域人工智能大模型部署应用指引》（我们后面就叫它《指引》）。