把注意力计算丢给CPU,大模型解码吞吐量提高1.76~4.99倍
把注意力计算丢给CPU,大模型解码吞吐量提高1.76~4.99倍CPU+GPU,模型KV缓存压力被缓解了。 来自CMU、华盛顿大学、Meta AI的研究人员提出MagicPIG,通过在CPU上使用LSH(局部敏感哈希)采样技术,有效克服了GPU内存容量限制的问题。
搜索
CPU+GPU,模型KV缓存压力被缓解了。 来自CMU、华盛顿大学、Meta AI的研究人员提出MagicPIG,通过在CPU上使用LSH(局部敏感哈希)采样技术,有效克服了GPU内存容量限制的问题。
控制无人机执行敏捷、高机动性的行为是一项颇具挑战的任务。传统的控制方法,比如 PID 控制器和模型预测控制(MPC),在灵活性和效果上往往有所局限。而近年来,强化学习(RL)在机器人控制领域展现出了巨大的潜力。通过直接将观测映射为动作,强化学习能够减少对系统动力学模型的依赖。
视频生成模型卷得热火朝天,配套的视频评价标准自然也不能落后。 现在,北京大学MMCAL团队开发了首个用于视频编辑质量评估的新指标——VE-Bench,相关代码与预训练权重均已开源。
2025 新年将至。对于新的一年和未来几年,你对 AI 领域有什么期待和设想呢?你是否认为 AGI 将要实现了而人类社会的一切都将因之而改变。
DeepSeek新版模型正式发布,技术大佬们都转疯了! 延续便宜大碗特点的基础之上,DeepSeek V3发布即完全开源,直接用了53页论文把训练细节和盘托出的那种。
刚刚,OpenAI宣布了三件事:1、选择一个非营利/营利结构,最有利于使命的长期成功。2、使非营利组织可持续发展。3、使每个部分都能发挥作用。
17日众议院议长约翰逊提交避免行政部门停摆的3800亿美元紧急预算,一千五百页的文件只给议员留了17小时审查时间,按以往经验谁也看不完最后会顺利通过。但这次马斯克的DOGE部门启用AI(Gork)总结文档摘要,查出被塞进去的私货,包括给议员加薪40%、给议员增加健康保险等条款。
AI初创团队狸谱,过去半年间,他们接连推出两款新奇的AI小游戏,在二次元圈和AI圈颇受关注。我们联系到狸谱产品增长负责人Levi,聊了聊AI赛道“一波流”产品的魅力,以及他们打造这些破圈小游戏背后的产品增长经验。
加州大学洛杉矶分校计划在2025年学校的一门比较文学课程将由AI来生成教科书、作业和提供一个随时可以探讨问题的助教。得益于人工智能,2025 年的这门课程格式和材料将呈现出全新的面貌。
在和 AI 没什么关系的东南亚,菲律宾和 AI 正在发生化学反应。