
阶跃公开了自家新型注意力机制:KV缓存消耗直降93.7%,性能不减反增
阶跃公开了自家新型注意力机制:KV缓存消耗直降93.7%,性能不减反增随着当前大语言模型的广泛应用和推理时扩展的新范式的崛起,如何实现高效的大规模推理成为了一个巨大挑战。特别是在语言模型的推理阶段,传统注意力机制中的键值缓存(KV Cache)会随着批处理大小和序列长度线性增长,俨然成为制约大语言模型规模化应用和推理时扩展的「内存杀手」。
随着当前大语言模型的广泛应用和推理时扩展的新范式的崛起,如何实现高效的大规模推理成为了一个巨大挑战。特别是在语言模型的推理阶段,传统注意力机制中的键值缓存(KV Cache)会随着批处理大小和序列长度线性增长,俨然成为制约大语言模型规模化应用和推理时扩展的「内存杀手」。
据 The Information 报道,总部位于旧金山的 AI 软件测试公司 Ranger 在 12 月获得了由General Catalyst领投的 650 万美元种子轮融资,以及在 2023 年 11 月获得的由XYZ领投的 240 万美元前种子轮融资。
以自研的“1+N”多模态模型系统,打造3D动态内容为核心的交互产品。
来了,国内首个对标AlphaFold3的产品—— HelixFold3,来自百度智能云与百度螺旋桨团队。
“3D大模型终于可以生成锐利的边角了!”
45 天,3D 生成产品 Rodin 达成了 100 万美元 ARR。这是一个重要的里程碑,作为对比,GenAI 领域最成功的初创公司之一 HeyGen 达到这个数字花了 7 个月。
3D内容正成为巨头布局的新风向。 索尼在近期的CES上推出了支持空间内容创作的“XYN™”集成软件和硬件解决方案,让3D内容创作更加灵活和可访问,相关的创作人才持续涌入这一方向。
在国内,Lovekey键盘、蜜小语、Love键盘均入围12月国内AI应用月活TOP20,年收入均在千万人民币以上,最高甚至能达到3100万。 去年10月,海外“僚机”RIZZ也宣布,月活用户数达到150万,ARR达到450万美金,约3280万人民币。
蛋白质是生物体中非常重要的功能性分子,它们的形成过程经过了数十亿年的自然选择和进化。在这一过程中,蛋白质的序列和结构经过无数次随机突变,并通过生物系统的选择机制进行筛选,最终形成那些具有特定生物学功能的蛋白质。
Keras之父官宣创业了!全新成立的实验室Ndea,押注了一条通往AGI的新路线——深度学习+程序合成。值得一提的是,这条新路,曾是Keras之父在谷歌搞的业余项目。