ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
AI换脸,该抵制吗?
3673点击    2024-08-28 15:17

眼见≠为实,AI换脸欺骗了不少人。


前两天,湖北公安破获了一起用AI换脸技术解锁社交账号并倒卖获利的案件。不法分子通过AI换脸专门帮人解锁被平台冻结的交友账号,每解锁一个,收费15元-30元不等。该团伙共解冻了2107个账号,从中获利40万元。


有数据显示,2023年基于AI的深度伪造欺诈暴增了3000%,深度伪造也就是deepfake,是learning和fake的组合,主要指用AI深度学习的技术,合成某个人的图片或视频、甚至声音,最常见的便是AI换脸。工信部更是在近期表示,将推出AI换脸诈骗风险提醒功能。


一边是AI换脸诈骗案件屡屡发生,另一边则是AI换脸技术不断迭代。


AI圈最近被一款AI换脸项目——Deep-Live-Cam,炸开了锅。用户只需上传一张照片,便可实时换脸成扎克伯格、董宇辉等任何想成为的人。


这一项目免费面向所有用户开放,发布在GitHub(代码托管平台)上,支持个人电脑安装。项目开发者公布了安装方法,没有技术经验的普通人可以边学边安装。


由于操作简单方便且换脸真实度高,Deep-Live-Cam出场便登上GitHub热榜第一,24小时狂揽1600+星(星星代表项目点赞和关注指标,几千颗星星是相当不错的级别)。不少网友将自己换脸成马斯克,体验了一把全球亿万富豪的感觉。


但大家在感慨AI换脸技术取得突破的同时,也在担忧“诈骗更变得容易了”。AI换脸,该抵制吗?


1 普通人都能用的AI换脸,成本低至十几块


目前国内外出现的AI换脸工具不少,Deep-Live-Cam被热议的原因主要在于,用户只用上传一张图但替换效果非常逼真,还支持实时换脸。


其实,“实时换脸”功能的技术门槛算不上高。


瑞莱智慧联合创始人、算法科学家萧子豪介绍,想达到实时视频换脸效果有两种方式:一种是播放事先做好的换脸视频,一种是接入实时换脸视频。Deep-Live-Cam属于后者。


无论哪种,AI换脸视频都需兼顾前后帧的连贯性,而基于连续人脸视频的处理,可根据前一帧的很多检测资源做微小的调整,“这也让基于连续帧的视频/直播换脸,相比独立帧的单张换脸,效率更高”,一位从事AI技术的研究员表示。


AI换脸依托的底层技术是Deepfake,从业者推测,Deep-Live-Cam采用的也是这一技术,所以仅从制作合成花费的素材和算力看,成本不会很高。


萧子豪表示,如果不考虑其他硬件采购成本,大多数AI换脸成本,一次大概只要十几块,主要包含照片和算力,Deep-Live-Cam可能更低。和其他AI换脸工具相比,Deep-Live-Cam用的照片数量更少,该工具还支持普通电脑使用,照片和算力成本更低。



相比之下,Deep-Live-Cam支持仅用一张图片换脸,更让从业者们震惊。因为过往的AI换脸产品需要用户提供多张不同角度的至少十几张照片。


照片难度的降低让用户玩嗨了。AI追随者小C表示,自己之前没接触过任何AI换脸工具,他觉得Deep-Live-Cam操作门槛不高,按照发布者的说明便可完成,寻找换脸素材的难度也不是很高。


他将自己换脸成了郭德纲、吴京、雷佳音等一众名人,且都只用了他们各自的一张图片。他表示,只要提供的是正脸、额头无遮挡、自然光,接近自己肤色、证件照比例的照片,一张便可成功,脸换效果也很自然。


不止一位从业者认为,部分影视剧采用的AI换脸技术,不仅门槛高、成本高昂,换脸效果也不够自然,说话过程中经常出现变形、失真。“像不像是AI换脸工具最大的难题,Deep-Live-Cam能支持一张图在直播过程中达到,脸边缘没有明显贴图痕迹,肤色和原人物差别不大的效果,逼真度领先很多AI换脸工具,”萧子豪分析,其开发者应该是在图片渲染模型上实现了过往AI换脸工具没有的突破。


不过,目前Deep-Live-Cam还存在一些Bug,比如支持换脸但不涉及换声。但萧子豪表示,想要实现此举不难,接入实时换声工具即可,稍有编程基础的人就能完成。


2 AI换脸,躲不掉的诈骗和侵权


Deep-Live-Cam等工具降低了用户的使用门槛,但大家也开始恐惧,不法分子只用一张图就可以换脸行骗,对普通人而言,风险将会剧增。


瑞莱智慧数据指出,国内AI诈骗案件的涉案金额从2020年的0.2万增长至2023年的1670万,年复合增长率高达1928.8%。2024年上半年,AI诈骗案超过1.85亿。奇安信发布的《2024人工智能安全报告》显示,2023年基于AI的深度伪造欺诈暴增了3000%。


AI换声、AI换脸、AI生成是AI诈骗常用的三种手段,其中AI生成内容,秒数有限,画质和人物瑕疵明显,因此不法分子最常用的是AI换声、AI换脸。而大多人相信“眼见为实”,又让AI换脸的欺骗性高于AI换声。


AI换脸不仅骗到了老年人,很多从事科技领域的年轻人也一夜失掉几百万。


据媒体公开报道,去年某科技公司CEO收到朋友转账求助,不到10分钟被骗430万元,骗子主要便是利用了AI变脸技术。还有香港某跨国公司员工被骗入不法分子设计的高管视频会议后,将2亿港元打到对方账户。


AI换脸达到了“能以假乱真”的程度,是从业者的共识。



李旭反传防骗团队负责人李旭对AI换脸技术的关注,便来源于各种诈骗案件。他表示,近两年AI换脸诈骗案件频发,市面上大概有三种AI换脸诈骗手段非常成熟。


第一种,利用AI换脸伪造色情视频,对受害人进行敲诈。


比如犯罪团伙会从网上等各种渠道收集被害人图片、视频信息,然后进行一键去衣、AI换脸等合成处理,将伪造的不雅视频或者艳照发给受害者,用来敲诈勒索。


第二种,利用AI换脸冒充熟人诈骗。


比如诈骗团伙会用市面上的一些换脸工具伪装成受害人的亲人、朋友、同事、领导等,先虚构一个紧急事由,利用被骗目标的急迫心理实施诈骗行为,受害人在情急之下往往容易放松警惕将钱转出。


现在使用Deep-Live-Cam更只需要采集受害者一两张照片即可深度仿造技出一段视频,李旭觉得,AI换脸诈骗的程度超出了大多数普通人的认知,也直接改变了电信诈骗的剧本,防不胜防,愈演愈烈。


第三,利用AI换脸冒充名人进行直播带货,骗取用户下单。


比如主播在直播间利用“AI换脸”给自己“换”了一张名人脸,从而增加直播视频流量,助力直播带货。


此外,未经他人允许,通过AI换脸对名人/普通人进行长短视频二创、制作表情包等侵权问题也十分常见。


AI换脸诈骗案件频发且手段多样,与这一技术的成熟度和广泛度密切相关。


瀚皓科技CEO吴杰茜告诉「定焦」,“目前,AI视频生成、数字人和AI换脸技术都很成熟,而AI换脸是其中发展最早的领域。”


2014年Deepfake(深度伪造)技术的出现,标准着AI换脸诞生,但一直在小范围传播,直到2017年,有用户利用该技术发布不实色情图片后,AI换脸才走入大众视野,但同时也因为其带来的大量造假内容,该技术一直备受争议。


不止一位从业者表示,这些年,虽然大众对AI换脸的讨论多集中在拯救影视剧上,但由于不好监管,利用AI换脸进行造假诈骗的事情也一直没断过。且AI换脸技术一直在迭代,入局者也不少,目前除了一些大厂涉及这一业务外,国内很多数字人、AI生成视频初创公司都有开发AI换脸业务,技术普及度比较高,该类工具也越来越多。


技术成熟、普及度高,监管也有一定的难度,导致让AI换脸技术这些年一直被滥用。


3 如何辨别越来越逼真的AI换脸?


近两年AI换脸导致的各种违法犯罪行为不少,不可控性让部分人觉得应该抵制AI换脸技术。


但也有很多从业者觉得,科技本身是中性的,其带来的好坏影响主要取决于使用者。AI换脸技术的出现和迭代不应该被制止。


吴杰茜表示,目前国内外均没有对AI换脸技术采取一刀切,更多是进行立法管理。


比如美国针对深度伪造进行了专门立法,欧盟将深度伪造纳入《通用数据保护条例》等现有法律框架规制度,德国、新加坡、英国等国家也将深度伪造相关犯罪纳入刑法体系。中国也在《互联网信息服务深度合成管理规定》中明确了对这一技术的规范。


多位从业者认为,对AI创作的内容进行标明等管理办法,以及传授给大众一些防AI诈骗方法,是十分必要的。


比如,曾有技术人员提出,可以在视频通话时,要求对方将手指放在脸部,仔细观察人脸是否变形,或者让对方张嘴,看牙齿和舌头是否清晰完整,从而判断图像是真人还是AI合成。


去年这一方法还比较奏效,但今年随着AI换脸技术的升级,已经让其失灵。


萧子豪表示,当下AI换脸技术可以实现有障碍物出现时人脸和动作不变形,且画质清晰度很高。李旭也发现,近期发生的AI换脸诈骗案件都使用了很强的技术手段,单纯靠动作几乎辨别不出。


鉴于AI换脸技术的快速发展,李旭认为,提高警惕是目前相对有效的方法。比如接到熟人借钱的视频来电时,可以问对方一些只有彼此才知道的隐私问题,并多向身边人询问核实。


部分从业者觉得,用AI辨别AI或许是个不错的办法。


比如先看画面有没有一些明显违背常识的元素,重点看脸部边缘是否有瑕疵,然后再借助一些AI工具。萧子豪觉得用AI甄别AI,可识别出绝大多数骗局,目前很多公司和政府部门都找他们来合作AI换脸防御系统。


但此举在国内外也引发了一定争议。


首先,这种方式具有一定的使用门槛,用户需要在手机/电脑端下载相关应用。其次,从本质上看,这类防御工具存在一定的滞后性,主要对当下AI换脸工具见招拆招,但AI换脸技术和合成方法在时刻变化。


很多人寄希望于相关法律法规完善,比如提高对AI换脸诈骗、销售AI换脸淫秽视频、换脸名人进行带货等违法行为的惩罚力度。



去年,杭州萧山区人民法院判决了一起用AI换脸制作淫秽视频的案例,被告人因提供AI换脸定制服务,通过AI换脸制作了大量淫秽视频,还用建群的方式吸引观看者付费进群,涉案金额共6万余元,最终被判处有期徒刑七年三个月,并处罚金6万元。


不过也提醒大家一点,并不是所有的AI换脸都会侵犯肖像权。


今年6月北京互联网法院宣判了两起AI换脸侵权案件,两位国风短视频模特在社交平台上发现了自己视频出现在某一换脸APP中,于是将该APP背后的科技公司告上法庭,认为其损害了自己的肖像权和个人权益。


法院的宣判是,认定被告使用了原告出镜的视频,但由于涉案视频中的原告面部已被替换,并未侵害原告的肖像权,因此仅认定此举构成对原告个人信息权益的侵犯。


此刻,AI换脸技术还在不断升级,也尚未被禁止,AI换脸工具还大量在市场上流传。


「定焦」近期在某电商平台上直接搜索“AI换脸”时,已经搜不到任何信息,但只要把关键词稍加改变,还是能找到相关换脸工具售卖,并且路径更为隐秘,会跳转到某二手网站进行交易。在技术和骗术都在不断升级的当下,大家能做的是提高警惕,防止被AI换脸侵害。


文章来源于“定焦”,作者“王璐


关键词: AI换脸 , I绘图 , AI , AI PS , 人工智能
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI换脸

【开源免费】Deep-Live-Cam是一个只需一张图片即可实现实时换脸和一键视频深度伪造的AI项目。

项目地址:https://github.com/hacksider/Deep-Live-Cam

2
数字人

【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,

“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。

项目地址:https://github.com/xszyou/Fay

3
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales