ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
视频生成界的大瓜:Runway 组织公司全员,把互联网扒了个干干净净
9067点击    2024-07-27 15:29

01 


油管高质量视频全扒下来了,


为了怕被封还买代理下载


据 Runway 前员工向 4m 的爆料,Runway 公司里几乎是全员都会在这个表格里录入数据,用来训练他们自家的模型。表格里搜集的油管视频,他们是用开源软件 YouTube-DL 下载的,为了防止被 Youtube 封禁,Runway 还找供应商买了专门的代理,用这些代理 IP 地址来下载视频。


可以说准备工作做的很足了。


泄露的文件包含 14 个电子表格。其中一个表格里有一百多个视频关键词,比如「海滩」、「医生」、「雨」等等,每个关键词旁边写着负责搜索相关内容的 Runway 员工的名字。



泄露文件截图(右侧为翻译后内容)


爆料人说,这些人要么是被派去找视频的员工,要么是员工自己标记的他们正在处理的关键词。在「彩虹」这个词和员工名字旁边,有人写了一条备注:「没有专门的频道或播放列表,但找到了适合微调(finetuning)的好视频。」



文件中的注释显示,Runway 正在寻找特定主题、摄影风格和多样化人群的视频。「高相机运动」表格包含了 177 个 YouTube 频道的链接,包括《使命召唤》的官方频道、电影制作人 Josh Neuman 的频道、虚幻引擎和 Vans 的频道。


一个名为「电影杰作」的电子表格列出了 206 个链接,是一些高质量的油管频道和视频,包括动画短片和学生电影。在这个表格中,DEFY Studio YouTube 频道的链接旁边有一条注释写着「迄今为止汽车电影的牛逼作品都在这儿了」。



「单个优秀视频(用于微调)」是另外 253 个视频的集合,旁边还有一列主题,比如「修眉」、「冰雕」、「微笑」和「尖叫」。


02 


盗版资源网站也没能幸免


今年推出的 Gen-3 因为生成视频质量高、很适合影视制作等备受好评。产品功能中有相机控制、导演模式,还可以实现对结构、风格和动作的精细控制。


可能也正因此,很多电影在线网站,尤其是知名的盗版电影网站也是 Runway 重点收集数据的来源。


一个名叫「非 YouTube 来源」的表格包含 14 个网站链接,其中包括经常被投诉的盗版动画网站 kisscartoon.sh,在专门记录互联网上内容删除请求的 Lumen 数据库里,有上千个针对这个网站的版权投诉。


「非 YouTube 来源」表中还包含一个宫崎骏电影档案链接、几个动漫盗版网站、一个 XBox 游戏剪辑的粉丝网站,以及一个现在已下线的名为 AZiMovies 的盗版电影网站,Runway 的某位员工在上面注释:「这里面有很多好内容。



文件里还有一个包含 17112 个词的列表,包括「手工洗车」、「拳击」、「打破彩罐」、「扭脖子」、「乱穿马路」等几十个词。每个词都对应着一些相关的 YouTube 热搜,比如「如何正确洗车」、「如果你被抓到乱穿马路会发生什么」和「自己扭脖子的危险」。


还有一个「推荐频道」的列表里,里面包含 3967 个 YouTube 频道的链接,其中很多是大品牌和大媒体的频道,比如皮克斯、Glamour、CBS 纽约、蒙特雷湾水族馆、AMC 影院,还有多个官方迪士尼频道,比如迪士尼 XD 和迪士尼 Plus。



迪士尼是重点监控公司


03 


Prompt 里带上博主名字,


几乎可以生成原视频


目前还不确定是不是表格里统计的每个视频都喂给了大模型,但 4m 用表格里的关键词在 Gen-3 里测试了下,发现其中很多生成的视频都跟表格里的视频特别像。


真人视频方面,虽然生成的视频没法完美复制,但用表格里出现的知名油管博主进行测试时,生成的视频跟真人很接近。


比如,关键词里如果带上「Mark Wiens」,这是油管一个超千万人关注的美食博主,生成的视频里的确会有一个小伙子在自拍吃东西的画面,这跟他本人发的很多视频都很像。



PROMPT (GEN-3 ALPHA): "MARK WIENS"


但是如果用 Gen-2 试验相同的 Prompt,生成的视频就跟这位博主没什么关系了,生成了一个穿西装的大众脸。



PROMPT (GEN-2): "MARK WIENS"


巧的是,4m 联系 Runway 询问这件事之后,Gen-3 就不能再生成包含 Mark Wiens 和其他几位 YouTuber 名字的视频了。


换一个Prompt,油管博主 Jon Olsson 在他的 Vlog 1054 里的形象。Gen-3 生成了一个穿滑雪夹克带滑雪帽的白人男性,和作者在视频中的穿着非常像。



原版 Vlog 截图,这位博主戴着蓝色头盔在雪里翻了个跟头。



PROMPT(GEN-3 ALPHA):「油管博主 Jon Olsson 在他的 VLOG 1054 里的形象」


跟上面的截图确实很像。



Prompt:一段 DEFY Productions 风格的赛车视频


Gen-3 生成的视频中,赛车尾巴上有「DEFY」字样,跟 @DEFYstudio Logo 的字体很像。



真·@DEFYstudio Logo,里面的字母「E」是镜像的


如果输入一个这样的 prompt:以油管博主 Benjamin Hardman 的旅行视频风格呈现。Gen-3 生成了一个看起来像是无人机拍摄的视频,镜头跟随远处的一位看起来很像 Hardman 的男人,在悬崖边徒步,和油管原视频相差无几。


博主本人喜欢捧着摄影机去极地拍冰川,视频的风格是这样的:




生成的视频长这样:



PROMPT (GEN-3 ALPHA): 「以油管博主 Benjamin Hardman 的旅行视频风格呈现」



PROMPT (GEN-3 ALPHA): "BENJAMIN HARDMAN"


04 


OpenAI、Anthropic、Nvidia


都在偷偷用油管视频训模型


最近几个月,因为偷偷用创作者的内容来训练模型,生成的视频、文本或者音乐与原作很类似,很多 AI 公司都因为这个被骂。《纽约时报》起诉 OpenAI 违法使用他们的新闻报道,然后是 4 月份,200 多名音乐人发公开信,要求大公司停止干这种事,「太没下限了」。


同样是 4 月,《纽约时报》报道 OpenAI 和谷歌通过转录 YouTube 视频来训练他们的模型,连谷歌自己都没能忍住……不过也有可能他们的用户协议里允许了。


7月份,Proof News 爆了一份大料,包括 Anthropic、Nvidia、苹果和 Salesforce 在内的公司,都在偷偷使用了超过 48000 个频道的 YouTube 视频和字幕文件。


这个数据集也很丰富,从学习视频到脱口秀,可以说是应有尽有。


  • 学习视频:可汗学院、麻省理工学院和哈佛大学的教育视频。

  • 新闻报道:《华尔街日报》、美国国家公共电台和英国广播公司的视频

  • 综艺:「斯蒂芬·科尔伯特晚间秀」「约翰·奥利弗上周今夜秀」和「吉米·坎摩尔直播秀」。

  • 网红:MrBeast(2.89 亿订阅,用于训练的两个视频),Marques Brownlee(1900 万订阅,七个视频),Jacksepticeye(近 3100 万订阅,377 个视频)和PewDiePie(1.11 亿订阅者,337 个视频)。

Proof News 还发现,这里面竟然还有宣扬「地平说」之类的阴谋论视频!


这玩意真的能拿来喂 AI 吗?


虽然媒体都这么报道了,但 OpenAI 官方还没承认,CTO Mira Murati 最近在接受《华尔街日报》采访时是这么说的,她不知道 Sora 的训练数据是否包括来自 YouTube、Instagram 和 Facebook 的视频。OpenAI 用的是公开可用的数据和授权数据。


油管对此很生气。


YouTube CEO Neal Mohan 对彭博表示,这种做法是不允许的:「从创作者的角度来看,创作者把他们的劳动成果上传到我们的平台时,他们是有预期的,服务条款最起码不能违反。我们不允许转录或下载视频片段,这些是我们平台上内容的规则。」


「我希望这些爆料,能让大家知道有多少科技公司背地里在干这个事,以及他们所谓的为了生成那些看起来很厉害的视频都做了什么『努力』。」


感谢 4m 和这名勇敢的爆料者。


文章来源于“ Founder Park”,作者“ Founder Park


关键词: AI , AI视频 , Runway , 人工智能 , AI公司
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner

2
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0

3
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales