真·MoE？路由LLM最全面探索：一种笔记本也能玩的大模型Scaling Up研究
真·MoE？路由LLM最全面探索：一种笔记本也能玩的大模型Scaling Up研究事关路由LLM（Routing LLM），一项截至目前最全面的研究，来了——
来自主题: AI技术研报
8969 点击 2025-03-19 14:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
事关路由LLM（Routing LLM），一项截至目前最全面的研究，来了——
近段时间，著名 AI 科学家 Andrej Karpathy 提出的氛围编程（vibe coding）是 AI 领域的一大热门话题。简单来说，氛围编程就是鼓励开发者忘掉代码，进入开发的氛围之中。更简单地讲，就是向 LLM 提出需求，然后「全部接受」即可。
现在各种框架满天飞，你是否想过这个问题，一个真正优秀的框架究竟需要多少代码？研究者Zach给出了一个令人惊讶的答案：仅需100行。这个名为PocketFlow的框架不仅体积小到令人难以置信（仅56KB），还能用来构建一个完整的Cursor编码助手。这个发现不仅挑战了我们对框架复杂性的认知，更揭示了一个重要的设计哲学：真正的创新往往来自于化繁为简。
DeepSeek 提出的 GRPO 可以极大提升 LLM 的强化学习效率，不过其论文中似乎还缺少一些关键细节，让人难以复现出大规模和工业级的强化学习系统。
HuixiangDou 是群聊场景的 LLM 知识助手。
角色扮演 AI（Role-Playing Language Agents，RPLAs）作为大语言模型（LLM）的重要应用，近年来获得了广泛关注。
Neurobo（弈智交互）是一家位于上海的创业公司，获得前百度总裁、微软副总裁陆奇博士创办的奇绩创坛的投资。团队核心成员来自清华大学与日本筑波大学等海内外名校，致力于结合 LLM 与现实场景数据，让二次元用户可以将「谷子」变为随身相伴，随时触达的实体情感伴侣。
谷歌团队发现了全新Scaling Law！新方法DiLoCo被证明更好、更快、更强，可在多个数据中心训练越来越大的LLM。
LLM自身有望在无限长token下检索信息！无需训练，在检索任务「大海捞针」（Needle-in-a-Haystack）测试中，新方法InfiniRetri让有效上下文token长度从32K扩展至1000+K，让7B模型比肩72B模型。
大语言模型（LLM）近年来凭借训练时扩展（train-time scaling）取得了显著性能提升。然而，随着模型规模和数据量的瓶颈显现，测试时扩展（test-time scaling）成为进一步释放潜力的新方向。