DeepSeek,“机圈”的下一个起点?

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
DeepSeek,“机圈”的下一个起点?
5755点击    2025-02-18 14:37

DeepSeek,“机圈”的下一个起点?


毫不意外地,DeepSeek的火烧到了硬件行业。

自2月5日华为宣布“小艺智能体”接入DeepSeek-R1算起,在一周多的时间里,包括星纪魅族、荣耀、OPPO、努比亚、vivo在内的6家手机厂商宣布接入DeepSeek。

仅从功能实现来看,各手机品牌基于DeepSeek-R1模型所提供的能力大差不大,多集中于“联网搜索”、“文案生成”、“AI问答”等。本质上,这种API调用的接入方式基本相当于增加一个在线插件。

某种意义上,这也算是智能手机行业中长久以来形成的默契,即信奉短板理论,绝不让“人有我无”的情况发生。

而除了从众效应外,也有多位从业者向虎嗅表示了他们对DeepSeek的看好,其中也包括智能手机与前者的深度绑定——将DeepSeek完成本地部署。

这背后其实反映了两个问题:为什么智能手机需要一个在端侧部署的模型?还有就是端侧模型何时才能“好用”?

掌上的DeepSeek,会是个好选择吗?

实际上,虽然各手机厂商只是接入DeepSeek作为“扩展应用”,但其中也不乏有公司开始了本地化部署的验证工作,只是受限于模型尺寸与手机性能之间的矛盾,现阶段DeepSeek的小尺寸模型在端侧的表现并不理想。

这里需要解释下,在满血版DeepSeek-R1模型中,其参数达到670B,如果在本地运行,至少需要占用960Gb的内存空间,任何一种移动设备都无法满足这样的硬件配置需要。

目前DeepSeek蒸馏版本(1.5B、7B)尚可符合手机端的使用条件,比如1.5B参数版本在本地运行时,大概占用1Gb的内存,基本不会对系统流畅度和续航造成太大影响。

而在实际测试中,1.5B版本的DeepSeek无论是精度还是幻觉率都较满血版大幅下滑。


星纪魅族副总裁王炼向笔者表示,在实际测试中,DeepSeek的小尺寸模型能力还在“不断进化中”,不过在一些垂直领域,比如数学领域表现得较好。

造成这一问题的,除了模型参数导致的性能降低外,还有一个重要原因可能是端侧本就不是DeepSeek这类开源模型公司的核心赛道。

《业务驱动的推荐系统:方法与实践》作者、Shopee新加坡资深算法专家傅聪向笔者表示,开源大模型公司在模型发布后,后续都会更新一系列从大到小的蒸馏版本,算是行业惯例,一方面他们想打造生态,另一方面也是调动社会层面的协作,而对于学术机构来说,他们能动用的算力去跑一遍1.5B左右参数的模型,算是能承受的极限了。

“比如手中有十几块、几十块A100芯片,然后把1.5B的模型从0到1复现一下,把V3这个架构实践一遍,可能也需要训练三天左右的时间,这对于一般研究机构来说,算是成本较高的了”,傅聪解释道。

除去这重考量外,现在还难说DeepSeek未来会对小尺寸模型做哪些针对性的算法优化。

那么为什么手机厂商还会去探寻端侧部署的方法呢?一个重要的原因是,从用户隐私保护的角度来说,端侧模型是最优解。

前不久,云安全公司Wiz曾发布一项研究结果,表明DeepSeek数据库存在安全隐患,允许对数据库操作进行完全控制,包括访问系统日志、用户聊天提示,甚至用户的 API 身份验证令牌。

针对数据安全,有一种解决方案是将数据做向量化加密。

王炼向笔者提到,在Flyme AIOS系统中,有些功能应用无法通过本地算力解决,必须将数据上传到星魅云端,而涉及这部分数据时,首先会将用户的隐私数据筛查出去,然后再将数据做向量化加密上传,这些数据在云端也无法被解密。

而另外一种更加彻底的解决方案就是将大模型做本地化部署,从根源上减少对云端算力的依赖。

除此之外,DeepSeek对模糊意图的理解能力,也是手机厂商所看重的。

“DeepSeek在深度思考上的能力相较其他模型更具优势,在与星魅的Flyme大模型结合后,能够充分理解用户的意图,帮助用户去做一些更加精准的决策和执行,而不是让用户自己去分析,他应该在什么时候、什么地点、什么步骤上使用什么能力去解决问题”,王炼解释道。

当然,就目前来看,除了意图理解和某些特定领域外,在端侧部署小尺寸的Deepseek模型,性能比较有限,那端侧模型何时才能落地呢?

“精品小模型”,呼之欲出?

正如上文所提到的,手机、PC等移动终端在硬件配置上,基本卡死了大模型端侧部署的可能。

而在参数量较小的模型中,7-13B这个级别里,部分模型如智谱GLM4-9B在精度和幻觉上均已展现出不错的成效。

同时也有迹象表明,小模型可能会即将诞生一个“Aha Moment”。

傅聪提到,“业内有一些动手能力特别强的工程师,他们基于DeepSeek的技术报告做了些尝试,去复现小模型,比如在Llama7B、Llama38B上做强化学习引导,在很多轮后也得到了接近于可以多步思考的小推理模型,同时幻觉被大大减少。”

另外,仅就DeepSeek来说,如果将其用于端侧部署,也是个不错的技术选型。

“DeepSeek-V3的参数是6700亿,但推理的时候只会激活370亿,大概相当于总参数量的5%,如果是80亿参数的模型,相当于只需要激活4亿参数,这个框架本身就决定了它的推理成本会控制在一个很理想的范围内”,按照傅聪的推算,可能未来一年左右,行业里就会出现多个7B左右大小的“精品小模型”。

不过,这并不代表手机、PC等硬件厂商会第一时间跟进,他们还必须要考虑沉没成本。

打个比方,如果现在有厂商决定要在自家系统中做DeepSeek的本地化部署,甚至是基于DeepSeek去训练端侧模型,这其实就相当于在赌未来3-5年的技术发展方向。

“DeepSeek通过Multi-Head latent Attention(MLA)和DeepSeek MOE架构实现了底层算力高效利用以及更低成本、更出色的模型效果。但这已经不是一个典型的Transformer架构,为了适配这个架构,又为了适配硬件的底层设计,他们做了非常重的开发”,傅聪认为,对于手机厂商来说同样如此,如果押注DeepSeek,后者也需要围绕DeepSeek去做大量的生态配套。

这其实也很好地回答了,为什么过去各手机厂商高调宣布的自研大模型,普遍充满了“技术储备”的色彩,因为在行业技术路线不明确之前,以智能手机行业庞大的体量来看,谁都不敢盲目地下注。


文章来自于“虎嗅科技组”,作者“丸都山”。


DeepSeek,“机圈”的下一个起点?

关键词: AI , deepseek , AI硬件 , 人工智能
AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

2
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI