破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架
破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架大模型参数量飙升至千亿、万亿级，却陷入“规模越大，效率越低” 困境？中科院自动化所新研究给出破局方案——首次让MoE专家告别“静态孤立”，开启动态“组队学习”。
来自主题: AI技术研报
7579 点击 2025-10-13 10:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型参数量飙升至千亿、万亿级，却陷入“规模越大，效率越低” 困境？中科院自动化所新研究给出破局方案——首次让MoE专家告别“静态孤立”，开启动态“组队学习”。
当大语言模型生成海量数据时，数据存储的难题也随之而来。对此，华盛顿大学（UW）SyFI实验室的研究者们提出了一个创新的解决方案：LLMc，即利用大型语言模型自身进行无损文本压缩的引擎。
AI公务员的大脑就是政务大模型。 就在刚刚，中央网信办和国。就在刚刚，中央网信办和国家发展改革委联合印发了重磅文件——《政务领域人工智能大模型部署应用指引》（我们后面就叫它《指引》）。
面壁智能近期已完成新一轮融资。本轮融资由北京市属国有投资平台“京国瑞”（北京京国瑞股权投资基金管理有限公司）及市场化创投基金“米聚和基”等共同参与，数亿元资金将主要用于加大端侧大模型研发力度及推动商业化进程。
10 月 9 日凌晨，蚂蚁百灵大模型团队奇袭般官宣了一款自家最新语言大模型 Ling-1T，参数量达到 1000B（即 1万亿参数）。然而，就在十天前，百灵团队才将自研 Ring-1T-preview 大模型开源。
“我最近刚满 19 岁，从加拿大滑铁卢大学计算机学院退学（创业），致力于创建最高质量的编码数据引擎，为最强大的大模型提供支持。”不久前，出生于加拿大的亚裔女孩 Serena Ge 在自己的个人网站上写
大模型安全的bug居然这么好踩？？250份恶意文档就能给LLM搞小动作，不管模型大小，600M还是13B，中招率几乎没差。这是Claude母公司Anthropic最新的研究成果。
来自加拿大蒙特利尔三星先进技术研究所（SAIT）的高级 AI 研究员 Alexia Jolicoeur-Martineau 介绍了微型递归模型（TRM）。这个 TRM 有多离谱呢？一个仅包含 700 万个参数（比 HRM 还要小 4 倍）的网络，在某些最困难的推理基准测试中，
本次新研究是迄今为止规模最大的大模型数据投毒调查。Anthropic 与英国人工智能安全研究所（UK AI Security Institute）和艾伦・图灵研究所（Alan Turing Institute）联合进行的一项研究彻底打破了这一传统观念：只需 250 份恶意文档就可能在大型语言模型中制造出「后门」漏洞，且这一结论与模型规模或训练数据量无关。
最近，美国多家 AI+医疗明星公司接连传来进展：OpenEvidence（医学知识搜索） 的 ARR 已突破 1000 万美元，每天有上万名医生付费使用；Abridge（临床文档转写） 完成 2.5 亿美元融资；Tempus AI（肿瘤学与精准医疗） 已在纳斯达克上市，市值一度超过 60 亿美元；Hippocratic AI（医疗专属大模型） 估值也已达数十亿美元。