搜索
近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (LLMs) 上应用，并提出了一个全新的视角
为解决大模型（LLMs）在处理超长输入序列时遇到的内存限制问题，本文作者提出了一种新型架构：Infini-Transformer，它可以在有限内存条件下，让基于Transformer的大语言模型（LLMs）高效处理无限长的输入序列。实验结果表明：Infini-Transformer在长上下文语言建模任务上超越了基线模型，内存最高可节约114倍。
上个月，初创公司 Cognition AI 用精妙绝伦的 Demo 演示了 AI 软件工程师 Devin，一夜之间在 X 上卷起风暴之余，也让更多程序员发出了如上疑问。
感谢大家对此系列的喜爱，今天我们迎来了第四期！（文末有前三期的链接）话不多说直接上菜。
前两天刚刚疯传的Suno挑战者、“音乐版Sora”正式现真身： 正式名称Udio，已完全免费开放，每人每月有足足1200首额度，网友们都玩疯了。
新版GPT-4是在Q*的输出上微调的在竞技场重回榜一的新版GPT-4 Turbo，成功再次踩中大家嗨点
它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。
Humane AI Pin 的背后理念很简单：这是一台没有屏幕的手机。它不会要求用户去打开各种应用或者在键盘上进行操作，而是通过一个 AI 助手和一个称作 CosmOS 的操作系统，将所有复杂功能简化。
随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。