如何优化英伟达CAGRA，实现GPU建图+CPU查询，成本效率兼顾
如何优化英伟达CAGRA，实现GPU建图+CPU查询，成本效率兼顾本文为Milvus Week系列第5篇，该系列旨在把Zilliz团队过去半年多积累的先进的技术实践和创新整理成多篇干货深度文章发布。
来自主题: AI技术研报
7781 点击 2025-12-09 10:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
本文为Milvus Week系列第5篇，该系列旨在把Zilliz团队过去半年多积累的先进的技术实践和创新整理成多篇干货深度文章发布。
AI 浪潮席卷全球，但算力功耗的 “电费焦虑” 也随之而来。传统冯・诺依曼架构下，数据在 CPU 和内存间 “疲于奔命”，消耗了大量能量。
Deep-Live-Cam 是一款开源的实时换脸与视频深度伪造（deepfake）工具，只需要一张人脸图片，就能在本地电脑上对摄像头画面或视频进行实时换脸。 支持 Windows / Linux / macOS，多种硬件加速（CPU / CUDA / CoreML / DirectML / OpenVINO），并内置不良内容检测与合规提示，定位是服务 AI 生成媒体行业的高效生产力工具。
就在今天，OpenAI 与 AWS 官宣建立多年的战略合作伙伴关系。OpenAI 将立即并持续获得 AWS 世界级的基础设施支持，以运行其先进的 AI 工作负载。 AWS 将向 OpenAI 提供配备数十万颗芯片的 Amazon EC2 UltraServers（计算服务器），并具备将计算规模扩展至数千万个 CPU 的能力，以支持其先进的生成式 AI 任务
大语言模型（LLM）不仅在推动通用自然语言处理方面发挥了关键作用，更重要的是，它们已成为支撑多种下游应用如推荐、分类和检索的核心引擎。尽管 LLM 具有广泛的适用性，但在下游任务中高效部署仍面临重大挑战。
刚刚，芯片圈大地震，英伟达将斥资50亿美元入股英特尔，一举成为大股东！英伟达出钱，英特尔出力！英特尔将为英伟达定制AI数据中心所需的x86 CPU，未来还将推出集成英伟达GPU的系统级芯片。
这几天，知名零食品牌良品铺子，用一张图成功地让无数网友的 CPU 都烧干了。
“两次 CPU 飙升的背后有个巧合，那就是——‘我们 CEO 登录了账号。’于是，我们把 CEO 的账号给封了，继续排查原因......” 听起来像段子，但这真是 Sketch.dev 的工程师亲口写下的“事故总结”。而这一切的起因，只是因为一段由 AI 生成的代码。
是的，秘塔AI搜索推出了全新“极速”模型。通过在GPU上进行kernel fusion，以及在CPU上进行动态编译优化，我们在单张H800 GPU上实现了最高400 tokens/秒的响应速度，大部分问题2秒内就能答完。
微软研究院开源的原生1bit大模型BitNet b1.58 2B4T，将低精度与高效能结合，开创了AI轻量化的新纪元。通过精心设计的推理框架，BitNet不仅突破了内存的限制，还在多项基准测试中表现出色，甚至与全精度模型不相上下。