国内首个大模型“体检”结果发布,这样问AI很危险!

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
国内首个大模型“体检”结果发布,这样问AI很危险!
5178点击    2025-09-23 10:27

国内首个大模型“体检”结果发布,这样问AI很危险!


近日,国内首次针对AI大模型的实网众测结果正式公布,一场大型“安全体检”透露出不容忽视的信号:本次活动累计发现安全漏洞281个,其中大模型特有漏洞高达177个,占比超过六成,这组数据表明,AI正面临着超出传统安全范畴的新型威胁。


如今,很多人习惯把大模型当作“超级搜索引擎”,事无巨细地向AI提问。但这种毫无防备的信任,很可能正悄悄推开隐私泄露的大门……


国产大模型漏洞较少


你是否习惯把AI当作“全能顾问”——问健康、问情感、问决策?OpenAI联合杜克大学、哈佛大学9月16日发布的最新研究显示,截至今年7月,ChatGPT每周活跃用户超7亿,发送信息量高达180亿条。其中近一半属于“询问”类,是最主流的使用方式。


“这恰恰是隐私泄露的‘重灾区’。”安全专家、网络尖刀创始人曲子龙对《IT时报》记者表示,很多用户向AI咨询疾病、情感、财务等高度私密的问题,却没有定期清理聊天记录的习惯。一旦模型或服务器被攻破,这些敏感数据极易泄露。


上述漏洞众测活动还公布了五大典型漏洞风险:一是部分产品存在不当输出类漏洞且危害严重;二是信息泄露类漏洞多发,存在较大安全隐患;三是提示注入类漏洞普遍,是大模型最常见的漏洞风险;四是部分大模型产品针对无限制消耗类攻击的防护措施有待加强;五是传统安全漏洞依然普遍存在,危害不容忽视。


曲子龙强调,大模型漏洞带来的影响并不像传统系统漏洞那样直观,更多是通过绕过提示词,获取超出法律或道德边界的信息。例如早期曾出现过模型泄露内部配置文件的情况,这种漏洞直接触及服务器信息;而后续常见的风险则是用户尝试让模型生成违法内容,比如破解码等。


“提示注入的本质,是通过提示词影响模型的内部数据或文件,这类攻击风险普遍存在。”曲子龙补充道,至于传统安全问题,他打了个比方:“比如攻击者利用死循环,让模型无限制消耗token。”


鉴于AI大模型产品普遍用户量大、使用率高,若上述漏洞被恶意攻击者利用,将对国内AI大模型产品生态造成较严重的影响。


国内主流大模型的安全防护水平怎么样?参与测试的主流大模型产品中,腾讯公司混元大模型、百度公司文心一言、阿里巴巴通义App、智谱清言等被发现的漏洞风险较少,体现了较高的安全防护水平。


曲子龙进一步分析,大模型安全问题的本质与互联网发展早期类似。移动互联网兴起时,App数量激增,漏洞也随之成倍出现,而目前能自主研发大模型的厂商数量有限,漏洞总量看似不多,但随着用户规模和应用范围的扩大,攻击面也会随之迅速变大。


国内首个大模型“体检”结果发布,这样问AI很危险!

图源:pexels


本地化部署不等于安全


2025年全国两会期间,全国政协委员、奇安信董事长齐向东敲响警钟:近九成本地部署DeepSeek的服务器在“裸奔”,引爆了行业对AI安全危机的讨论。


今年春节,DeepSeek出圈后不久就遭到了有组织的网络攻击。这波“职业黑客”的攻击规模之大、烈度之强,让中国安全界“群起而攻之”,中国电信安全团队也深度参与了DeepSeek的安全防护。今年3月,攻击DeepSeek的同一伙组织将马斯克旗下的社交媒体X攻击到三次瘫痪。


国内首个大模型“体检”结果发布,这样问AI很危险!


大模型的安全问题究竟有哪些共性?


根据中国电信“广目”测绘平台对全球大模型部署的实时感知显示,国内部署最广泛的模型是DeepSeek-R1,国外部署最多的开源大模型是Llama 3,均面临类似的安全风险,比如“越狱”攻击、大模型推理框架存在安全漏洞等。


中国电信安全团队曾对国内六款最热门的基础大模型做了完整扫描,结果发现,最高分只有77分,有的则低于60分。天翼安全科技有限公司总经理刘紫千表示,这说明国内的基础大模型在安全方面还有很大提升空间。


值得关注的是,本地化部署并不等于安全,服务器一旦被攻击,私有服务器上存储的隐私信息和商业机密就有可能被窃取。


智能体成安全新挑战


《IT时报》记者注意到,本次漏洞众测共对10家AI厂商的15款大模型及应用产品进行了测试。测试产品中既有基础大模型产品,也有垂域大模型产品,还有智能体、模型开发平台等相关应用产品。


随着大模型的发展,当下人工智能正在从“Chat向Agent”跃迁,而智能体带来的风险可能比大模型本身更复杂。


9月16日,在2025年国家网络安全宣传周上,中国电信携手公安部第三研究所、华为公司、《信息安全研究》杂志社、蚂蚁集团、清华大学、上海交通大学等机构多家合作伙伴,发布了业内首部《AI智能体安全治理》白皮书。


《白皮书》指出,与大语言模型相比,AI智能体不仅延续了模型与数据层面常见的安全风险,例如“越狱”攻击、对抗样本攻击、提示注入、数据“投毒”等,还因其具备多模态感知、自主规划与执行等特性,衍生出一系列独特的系统性风险。这些风险往往与具体应用场景深度耦合,并可能在执行链条中被放大,带来更加严重的安全隐患,主要体现在以下几个方面:


感知出错:智能体依靠各种传感器“看世界”,但如果有人故意干扰,它可能把假象当真,做出危险反应。


决策失误:智能体能自己做决定,一旦推理出错,错误会被放大,在自动驾驶、金融、医疗等领域可能造成严重事故。


记忆被污染:智能体会“记住”用户交互,如果有人往里面灌假消息,智能体就会反复调用错误信息,例如篡改智能体记忆中的身份信息,可能导致后续任务出现越权操作或隐私泄露。


工具被滥用:智能体常接入各种插件和外部系统,如果缺乏安全控制,这些接口可能成为黑客攻击的入口。


今年以来,国家市场监督管理总局在多模态大模型、智能体、具身智能等前沿方向,以及其他传统行业应用方面,新发布了10项国标,立项了48项技术文件。尽管如此,随着大数据、人工智能、物联网等快速发展,当前仍迫切需要通过标准化建设减少数字技术发展带来的风险和不确定性。


AI时代已经到来,在尽情提问与探索之前,或许我们都该先问自己:“我的数据,真的安全吗?”


文章来自于“IT时报”,作者“贾天荣”。

AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
AI搜索

【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。

项目地址:https://github.com/InternLM/MindSearch

在线使用:https://mindsearch.openxlab.org.cn/


【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。

项目地址:https://github.com/miurla/morphic/tree/main

在线使用:https://www.morphic.sh/

4
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0