ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
韩国网友已来微博求助,Deepfake(深度伪造)攻防战不易
5988点击    2024-09-01 11:36

AI马斯克泛滥背后的攻防战


Deepfake(深度伪造)再度掀起热搜,韩国网友已经来到微博求助!


事情起因是最近一周,韩国警方发现了某加密软件中存在,大量与学校、医院、军队有关的涉案社交媒体群组,利用Deepfake(深度伪造)技术换脸合成色情照片和视频,参与用户多达22万人。经初步调查,受害者80%为女性。


最新消息是,娱乐公司JYP针对旗下女团TWICE 的deepfake视频做出回应,表示将采取法律行动。 但很多人认为并不能改变现状,所以他们来到国内呼吁关注。



其实,AI换脸不是最近刚出现的技术,而是越来越以假乱真,越来越多模态。当然,AI换脸识别技术也在飞速发展,随着AI换脸的威胁越来越大,这场攻防大战正越来越激烈。


此前在8月28日的同一天时间,网友用Deepfake 技术换脸马斯克,直播获得上万人打赏,紧接着浙江大学与阿里安全部共同研发了一种新型人脸隐私保护方案——FaceObfuscator。


看似人脸保护技术出现强力护盾,但技术对抗从来不是一簇而终。6年前,AI换脸技术开始兴起,但那时候人物表情还比较僵硬,也无法用于直播场景中,现在AI换脸技术已经非常成熟。


以后我的手机是不是被捡到,就能被刷脸打开了?”“手机的刷脸支付到底还能不能用,“谁来保护我的隐私,尤其是女性权益。”等各种舆论的声音也越来越强烈。


万人打赏AI马斯克,AI防护也进一步


“hi, how are you,I'm musk。 ”这是AI换脸的马斯克在直播,他的直播间非常火热,换脸马斯克一边展示大火箭模型,一边捏捏自己的脸。


这位主播自己都笑得不行,他是没想到效果非常逼真,甚至许多连线的粉丝表示根本无法区分真假,上万人给这位主播打赏。


这位“马斯克”也是非常博学,对SpaceX、Tesla的Cybertruck、AI技术、Neuralink等技术都如数家珍,还热心地给一位刚毕业的学生讲述了一些工作建议。


AI换脸的马斯克能在直播间栩栩余生,那以后直播间中马云、刘强东、黄仁勋、乔布斯就都随时能出现。直播间出现这些名人AI分身,可能对高知的人群威胁不大,就怕『AI勒东』等更加泛滥。


公开数据显示,截止2024年,已经有8名长的非常像勒东的网红,被提起公诉。然而,很多阿姨到此还不认为自己被骗,认为那些骗他钱的假勒东就是本人,惹得勒东亲自呼吁上当的阿姨们不要继续相信,他不会私信聊任何人。


下沉市场对一个相像的明星都执着得相信,何况是AI换脸的明星,毕竟AI可以将长相和声音完美复刻。


而且这项技术也在迅速白菜化,一位AI行业人士告诉鲸哥,现在 GitHub上,有超过 3000 个与 “AI换脸”技术相关的存储库,很多外网的灰色社交频道中更多。这些“AI换脸”也十分便宜,价格最低的“AI换脸”视频只需要2 美元,而需求复杂的一个“深度伪造”视频要100美元起。


现在,国外很多币圈人用假马斯克做代言广告,灰色业务有些爆发;国内则是针对下沉市场欺诈行为居多。


2023年,呼和浩特一位男士就被这样的AI换脸视频电话,诈骗去了40多万元。被骗人表示,自己从没想到视频对面的微信好友尽然是AI换脸的。


现在情况不一样了,就在AI马斯克直播的同一天,一项应对这种这种乱象的技术也被发布。


8月28日,针对人脸特征重构隐私威胁,浙江大学与阿里安全部共同研发了一种新型人脸隐私保护方案——FaceObfuscator[2]。


据公布,FaceObfuscator 在六个公开人脸数据集上进行了测试,实验结果表明,其无法被重构为人脸图像,有效保护了人脸隐,在 COS(余弦相似度)和 SRRA(重放攻击成功率)指标上表现优异,显著降低了重构攻击的成功率。


简单来说,"FaceObfuscator"就是一种用来模糊或者隐藏人脸的工具或技术。例如,在监控视频中,可能会使用FaceObfuscator来模糊掉路人的脸部,以保护他们的隐私不被侵犯。


FaceObfuscator 可应用于监控识别、刷脸支付、门禁考勤等场景,服务于安防、金融、教育等多个行业领域。当然,这项技术确实还存在一个问题,就是直播间中的换脸,无法识别和防护。


毕竟直播间中的换脸,并没有什么设备需要去验证,只要观众觉得像就行。这一轮AI大战,AI换脸凭借更多场景,让AI识别在这一场景中无能为力。


做AI安防的顶象科技内部人士告诉鲸哥,“直播间AI换脸,以前最常用的识别方法是让其捏下鼻子,AI马斯克直播敢捏脸,就证明这个鉴别方法不是太实用了。”


但鉴别方式并不是没有了,这就需要更多的技术方案,融入各种社交产品中。


多轮攻防战斗,AI换脸对抗螺旋上升


最早是在2018年,国外研究人员创建了一个假的奥巴马演讲视频,这部视频面部表情逼真,口型与音频也比较同步。


当时这个视频采用的是生成对抗网络(GANs),GANs一度是最流行的AI换脸技术。它包含两个神经网络:一个生成器和一个判别器。生成器负责创建假图像,而判别器则试图区分真假。通过不断的对抗训练,系统能够生成越来越逼真的换脸效果。


这时期,基于GANs技术的AI换脸最知名的软件是DeepFaceLab,这款软件其实是基于特定需求研发,它被广泛用于一些好莱坞电影中的特效场景。


但很快这项技术就被扩散,从影视圈向极客、灰产等圈层发展,违规的换脸视频作品和用于诈骗的换脸资料也开始从层出不穷。


这时期,防守方主要有2种方式鉴别AI换脸。第一是视觉特征分析,研究人员开发了算法来检测换脸视频中的不自然特征,如不一致的眨眼频率、不自然的面部纹理等。


当时Facebook与密歇根州立大学合作开发的DeepFake检测挑战赛,就是为了吸引技术人员参赛,为这项技术添砖加瓦。


第二项手段是音频-视频不一致性检测:由于许多换脸视频使用原始音频,研究人员开发了算法来检测唇动与音频的微小不一致。


谷歌也在2019年发布了一个包含3000多个Deepfake视频的数据集,用于训练检测算法,其中就包括音视频同步性分析。


这一时期, 技术的防御手段主要依靠AI换脸视频技术还不成熟,防守方挑选出不自然、不匹配的内容片段,以此来判断视频的真假,说实话还是挺难的。


时间来到2020年,AI换脸行业出现了一种名为神经渲染(Neural Rendering)的技术,能够在视频会议中实时进行高质量的换脸。


这项技术能够从单张2D图像重建3D面部模型,然后将其应用到目标视频中,实现更自然的换脸效果。


由于脸部数据被数字重建,这时候人的各种表情理论上都可以被数字生成,防范的难度进一步增大。所以防守方的主要手段,开始借助数字资产确权技术,来保护大家的脸部隐私。


2020年,一家名为Truepic的公司推出了基于区块链的图像验证系统,被一些新闻机构用于验证新闻图片的真实性。通过在区块链上记录原始视频的哈希值,可以验证视频是否被篡改。


这项技术都是针对特殊人脸视频的保护,大部分原始视频都不可能被数字确权,所以保护的范围太小了。


时间进入到2024年,AI换脸从图片、视频走进了直播间,AI换脸技术已经白菜化。尤其在加密软件中的换脸犯罪,则更加猖狂。这次韩国Deepfake事件,就被称为“N号房2.0事件”,各方都在等待调查结果。


你的脸部数据安全,不止需要技术守护


时间拨回到2020年,“扫描一次人脸,给费用50元,绝对保护隐私前提下使用。』当时在北京的西二旗附近,很多AI创业公司收集人脸数据,价格很便宜。


这些CV(计算机视觉)公司利用人脸数据改进算法模型,更多大公司试图找平台合作方进行数据合作。投资人李开复曾口误说,帮旷视科技搭桥支付宝,利用后者人脸数据训练了大模型,导致两家公司都非常紧张,支付宝也急忙辟谣没有给过其他家公司数据。


不能否认,那时候人脸识别技术发达后,摄像监控、手机屏幕识别、扫脸验证、扫脸支付等业务都开始飞速发展。


在生成式人工智能大火的今天,AI换脸技术迅速在民间流传,视频电话诈骗,复刻人脸支付,各种诈骗犯罪活动开始防不胜防。


在技术的不断迭代面前,防守方永远处理劣势。未来会突然出现何种技术,让AI换脸更容易和更逼真,都是无法预料的事情。因此不能全指望技术,平台的参与也至关重要。


国家在2019年出台规定,要求Deepfake内容必须标明"非真实"字样。此后,主流互联网平台也开始参与这场AI换脸攻防战。


2022年前后,抖音和视频号等平台上,开始要求AI视频制作方主动标识是AI生成,或者是平台提示可能是AI作品。


一位从事AI美女生成的制作方告诉鲸哥,以前用SD技术生成真人美女,每天都有上千的私信,他们以为这是真人美女,其中不乏一些骚扰信息。而在标识为AI生成后,私信数量就开始急剧下跌,现在不过百了,他以前是靠引流到私域卖货,现在得考虑用AI换脸直播了,这一类型也正在被严打。


根据抖音安全中心的统计,今年1月至今,已经有7.3万个账号因为涉嫌欺诈而被收回了直播权限。很多时候,抖音要求AI制作的内容必须做出显著标识。


腾讯平台上的社交和视频产品,也非常需要AI鉴别。所以,腾讯云也推出换脸甄别(Anti-Deepfake,ATDF)技术,利用AI技术反制换脸、合成脸这类AI技术的滥用,并提供对视频图像中的人脸进行全面分析的服务。


平台作为传播的渠道,最重要的手段是拥有其换脸后积攒的粉丝、打赏等回报资产,所以利用封禁账号等手段,使得乱用技术的人投鼠忌器,是当下最有效的打击形式。


而抛开直播间的AI换脸,市面上的企业,则更多利用第三方安全服务,打击AI换脸的考勤、骗保等等事件。。


顶象等第三方为银行、保险等公司提供的安全方案,则是在设备环境监测、人脸信息、图像鉴别、用户行为、交互状态等很多维度信息进行综合鉴别。内部人士告诉鲸哥,他们甚至发现了一个集团上10万人次存在利用虚假形象打卡行为,集团损失上亿元。


如今,AI换脸技术被灰色利益鼓舞,未来还会飞速进化,而防护方只能在后面见招拆招,所以更多需要每个人提高安全警惕,不是每个『马斯克』都是真的马斯克。


文章来源“AI鲸选社”,作者“杨晓鹤”



AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI换脸

【开源免费】Deep-Live-Cam是一个只需一张图片即可实现实时换脸和一键视频深度伪造的AI项目。

项目地址:https://github.com/hacksider/Deep-Live-Cam

2
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales