ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
换脸乌克兰美女在中国赚钱,AI已经开始跨国犯罪了
4736点击    2024-02-26 13:24


记者 张勇毅


编辑 高宇雷


在 OpenAI 发布 Sora 之后,很多人惊呼人类已经迈入 AI 视频时代。除了一次次震惊世界的 AI 视频生成能力展示之外,海外网友讨论的最多的话题,还有「未来该如何避免虚假视频充斥着我们的生活」?


但在此之前,AI 虚假视频的发展速度,可能已经远超我们的想象,它们已经走进我们熟悉的社交平台,通过各种流量密码,赚到了比人类视频博主更多的收入。


下面的数据可能更加直观:小红书一个名为“娜塔莎进口食品”的博主,在视频中的人设是一位定居在中国的俄罗斯人,并通过这一身份发布各种关于俄罗斯与中国生活的短视频,和大家科普各种俄罗斯知识,仅小红书平台粉丝量就在短短数月内突破了 20 万。



但现实是,这个账号的各种视频内容完全是由 AI 生成,甚至这个肖像的真人还是一位乌克兰人,她的真名叫 Olga Loiek。


从这个账号发布的各种视频中,不难看出背后的运营团队深谙短视频平台的流量密码:时不时抛出「喜欢中国,想买房子定居」「女性搬到中国是否要务农」这种极富争议的社会话题,显然很清楚如何利用好 Olga 的“流量密码”,但这些也只会加重受害者的痛苦。


在抖音等平台,利用 Olga 肖像权制作虚假视频的内容,往往是关于战争中俄罗斯一方的言论:例如「俄罗斯会感激中国朋友的支持」等在短视频平台反响热烈的话题。



讽刺的是,抖音的老用户可能会觉得这一刻似曾相识:去年六月,一位自称“保尔柯察铁”的“俄罗斯车臣人”在抖音走红,依靠分享在战争前线的最新动态,迅速积攒了超过三十万粉丝,并顺势开启了带货:当然也是包括伏特加糖果在内的各种俄罗斯特色食物。


但在后续他发布的各种“作战”视频中,被不少网友认出了拍摄视频的实际地点经常是河南洛阳某处的发电厂,最终被进一步扒出这位中文过于流利的车臣人,其实只是特效滤镜的效果。被揭开谜底之后的账号不再被网友关注,最终无人问津。



虽然彼时诸如“柯察铁”这样的案例并不少,这些视频尚且需要真人出镜,即使漏洞百出,也吸引了众多没有足够辨认能力的观众,而到了 Olga 的例子中,这些视频产业链已经完全不需要一个漏洞百出的真人出镜,取而代之的是一个完全由视频素材训练出的“克隆人”。


事实上,使用真人肖像打造出克隆人短视频的工具已经相当成熟:克隆 Olga 的运营团队使用的是一款名为 HeyGen 的 AI 肖像克隆软件:这是一款已经非常成熟 AI 应用,网络上能找到众多面向初学者的 HeyGen 上手教程。使用价格上,即使是最贵的商用版本也只需 72 美元/月。


在这些工具之前, AI 视频基本还遵循着输入足够多相关肖像视频素材,根据口型/表情对应生成相应的素材,生产对应的短视频内容,即创作者口中嘲讽 AI 生成视频的“拼尸块”模式,但现在随着 HeyGen 这样的 AI 工具越来越多,生成一条高度逼真的短视频所需要的素材,可能仅仅是原作者的几张照片。


每月仅 500 人民币的投入,创作克隆视频换来的收益却相当可观:这些克隆账号不仅能通过挑动流量话题赚钱,通过带货收入也是另一种主要方式:小红书账号下的清单中充斥着各种“俄罗斯特产食品”的链接,并且随着克隆短视频的带动,给观众灌输「俄罗斯经济需要你们的支持」的思想,促使观众购买这些商品:截至2 月 19 日,其中一些单品销量已经超过一万。



Olga 也在自己上传的视频中提到,她和她的家人曾多次就这个问题尝试向小红书、抖音等申诉,即使她们都很难理解复杂的中文条款所包含的意思,但这些申诉都没有获得正面的结果,无奈之下,才选择自己真人发布视频,将整件事和盘托出。


在 Olga 发布视频揭开这个问题,并引起全球网友热议的两周内,这个账号仍然在小红书等平台正常存活:账号简介中,最新的一条视频的主题甚至是庆祝中国新年,同时仍然有很多不明真相的网友,在评论区中回复账号运营者刻意煽动起的各种问题。给 Olga 关于「买房」「找中国人当老公」等建议。



与此同时,Olga 的家人所能做的,也只有在社交媒体上呼吁 HeyGen 的开发者采取行动,避免这种被 AI 换脸的事件发生在更多人身上。



2 月 20 日,这个账号才被「封禁」:没有任何常规账号封禁的相关提示,消失在平台中。



看起来这起事件告一段落,但在过去的数月中,黑产团队赚到了带货收入与流量分成所得,平台坐享其成收获流量,观众收获了心理满足感与“俄罗斯特产”,只有 Olga 本人和家人承受了痛苦。


按照 Olga 本人在 YouTube 发布的视频中所言:「我们的家人在战争中不得不在不断的空袭和轰炸中东躲西藏。在这段时间里,看到自己的脸被用来向数十万人宣传俄罗斯,这并不有趣」。


苹果公司联合创始人史蒂夫·沃兹尼亚克近期也警告称,AI 视频内容行业需要强监管。同时监管机构应该也应该追究大型科技公司在其中疏于监管乃至纵容的责任。


中国在 2020 年五月发布的《民法典》中第 1019 条,其实已经有相关的条文:

任何组合或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。


未经肖像权人同意,肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或公开肖像权人的肖像。


此前颁布的《互联网信息服务深度合成管理规定》中,也明确规定内容提供者需要按照对生成的图片、视频等内容进行标识,但目前主流短视频平台也没有足够有效的方式来应对:在类似没有明确标注的 AI 生成视频下,小红书会对疑似 AI 内容自动生成的内容自动打上标识,但除此之外并没有更多有效的应对方式。



在小红书社区公约中,也明确表示冒充他人等行为属于侵权,抖音也专门设置了关于人工智能生成内容的平台规范暨行业倡议、人工智能生成内容标识的水印与元数据规范,并推出了虚拟形象账号备案指引。


抖音安全中心相关负责人对电厂表示,抖音安全中心针对技术手段仿冒虚假人设、不当获取粉丝的账号,持续进行专项治理。对于违规账号,平台采取了包括全面禁言和粉丝清零在内的处罚措施,近期已处罚账号67个。下一步平台将加大治理力度,也欢迎用户在发现违规账号时点击举报,平台将在第一时间核实处理。


此前,抖音官方信息发布账号“抖音黑板报”曾发布打击黑灰产违规“涨粉养号”行为的公告,其中涉及多项违规行为,就包括利用人工智能技术(AIGC)创建虚拟人物仿冒真人或批量发布低俗低质内容。


不过,对于Olga这种已经涉及到明确侵犯肖像权的事件,如果内容平台的「正义执行」在两周乃至更长时间之后才姗姗来迟,这不仅是给黑产团队可乘之机,甚至在很大程度上已经纵容了更多类似事件的发生。



远在 Sora 之前,从 deepfake 震惊世界的那一天起,AI 换脸就已经开始快速发展,并随着各种越来越易用的工具被开发出来,黑产产业链也如同影子般迅速成长:从一开始的换脸到变声,直到如今以假乱真的 AI 短视频泛滥,内容监督的技术与管理已经远无法跟上现实的需求。


如果没有行之有效的监管与审核,下一个伴随着流量密码诞生的 Olga,只会更具煽动性且更难以辨别,且近在眼前。


远在 Sora 之前,从 deepfake 震惊世界的那一天起,AI 换脸就已经开始快速发展,并随着各种越来越易用的工具被开发出来,黑产产业链也如同影子般迅速成长:从一开始的换脸到变声,直到如今以假乱真的 AI 短视频泛滥,内容监督的技术与管理已经远无法跟上现实的需求。


如果没有行之有效的监管与审核,下一个伴随着流量密码诞生的 Olga,只会更具煽动性且更难以辨别,且近在眼前。


文章来自于微信公众号 “ 电厂”,作者 “张勇毅


关键词: AI换脸 , AI诈骗 , AI电商 , AI视频