榨干3000元显卡，跑通千亿级大模型的秘方来了
榨干3000元显卡，跑通千亿级大模型的秘方来了书接上回，用几块3000元显卡作为加速主力的一体机，就能跑通671B的DeepSeek。
来自主题: AI资讯
7229 点击 2025-04-15 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
书接上回，用几块3000元显卡作为加速主力的一体机，就能跑通671B的DeepSeek。
RTP-LLM 是阿里巴巴大模型预测团队开发的高性能 LLM 推理加速引擎。它在阿里巴巴集团内广泛应用，支撑着淘宝、天猫、高德、饿了么等核心业务部门的大模型推理需求。在 RTP-LLM 上，我们实现了一个通用的投机采样框架，支持多种投机采样方法，能够帮助业务有效降低推理延迟以及提升吞吐。
赚钱嘛，不寒碜！
连续创业者马宇驰，在上一波人工智能大潮中创立三角兽科技，带领公司被腾讯收购，去年重回AI赛道，参与到新一轮大模型应用创业中，2033科技于2024年已经完成天使轮融资，由商汤科技和东方国资共同投资近亿元人民币。
前些天，GPT-4o的多模态生图上线之后，引发全球AI社区广泛的关注，吉卜力图画全网风靡。
在大模型迈向推理时代的当下，数学推理能力已成为衡量语言模型智能上限的关键指标。
千亿参数内最强推理大模型，刚刚易主了。32B——DeepSeek-R1的1/20参数量；免费商用；且全面开源——模型权重、训练数据集和完整训练代码，都开源了。这就是刚刚亮相的Skywork-OR1 (Open Reasoner 1)系列模型——
中国科学院深圳先进技术研究院娄春波团队与北京大学定量生物学中心钱珑团队成功推出一款生物制造大语言模型SYMPLEX。SYMPLEX是全球首个面向合成生物学元件挖掘与生物制造应用的大语言模型。
MiniMax尤为特殊，从一开始就跟其他玩家不在同一赛道竞争。通用大模型上，MiniMax坚持“产模一体”的理念，即所有的底座模型都要服务于产品。同处于To C赛道，Kimi主战地在国内，MiniMax战略重点在海外市场。
大模型聚合平台OpenRouter新推出的Optimus Alpha，已经处理了772亿Token，平均每天超过200亿。并且这个数字还在上升，日Token处理已超过340亿，排名第二，并在Trending榜单上位列第一。