搜索
注意力机制的「平方枷锁」，再次被撬开！一招Fenwick树分段，用掩码矩阵，让注意力焕发对数级效率。更厉害的是，它无缝对接线性注意力家族，Mamba-2、DeltaNet 全员提速，跑分全面开花。长序列处理迈入log时代！
图神经网络还能更聪明？思维链提示学习来了！
该项目来自百家 AI，是北京邮电大学白婷副教授所指导的研究小组， 团队致力于为硅基人类倾力打造情感饱满、记忆超凡的智慧大脑。
多模态检索是信息理解与获取的关键技术，但其中的跨模态干扰问题一直是一大难题。
最近的一篇论文中，来自人大和腾讯的研究者们的研究表明，语言模型对强化学习中的奖励噪音具有鲁棒性，即使翻转相当一部分的奖励（例如，正确答案得 0 分，错误答案得 1 分），也不会显著影响下游任务的表现。
迄今为止行业最大的开源力度。在大模型上向来低调的小红书，昨天开源了首个自研大模型。
20万次模拟实验，耗资5000美元，证实大模型在多轮对话中的表现明显低于单轮对话！一旦模型的第一轮答案出现偏差，不要试图纠正，而是新开一个对话！
图像生成、视频创作、照片精修需要找不同的模型完成也太太太太太麻烦了。 有没有这样一个“AI创作大师”，你只需要用一句话描述脑海中的灵感，它就能自动为你搭建流程、选择工具、反复修改，最终交付高质量的视觉作品呢？
近年来，大语言模型（LLMs）以及多模态大模型（MLLMs）在多种场景理解和复杂推理任务中取得突破性进展。
RNN太老，Transformer太慢？谷歌掀翻Transformer王座，用「注意力偏向+保留门」取代传统遗忘机制，重新定义了AI架构设计。全新模型Moneta、Yaad、Memora，在多个任务上全面超越Transformer。这一次，谷歌不是调参，而是换脑！