在AI视频赛道卷麻了之际,英伟达投的Sora竞品,马不停蹄地推出1.5代了!
官方宣传是酱婶儿的:
据Luma创始成员介绍,相比6月推出的Dream Machine 1.0,此次升级主要围绕文生视频,整体更加智能。
新版本全民在线可玩,已经尝鲜的网友纷纷直呼:
incredible!(不可思议)
看了下网友试玩,目前的效果雀食不错,下面挑几个例子康康(PS:画质均有一定压缩)
鸡蛋成精了,会骑车的流心蛋黄:
视觉冲击力强,堪比电影运镜的快镜头。
Prompt:FPV, fast moving footage, at light speed, flying through houses before exploding into a volcano.(FPV,快速移动的镜头,以光速飞过房屋,然后爆炸成火山。)
画面上加文字的老大难,貌似也克服了。
上下分屏,丛林和海底世界刷一下就拼接起来了:
Dynamic motion, vertical 2-panel Split-screen view: lush jungle canopy above, underwater coral reef below, UHD, nature documentary style(动态运动,垂直2面板分屏视图:上面茂密的丛林树冠,下面的水下珊瑚礁,超高清,自然纪录片风格)
衣袂飘飘,自然抬头的少女漫也安排上了。
看完这波效果,不难推测为何Luma AI在过去两个月增长迅猛。
网站分析平台Similarweb的数据显示,目前它在所有AI视频中(主要是国外产品)访问量排第一,仅7月份全球访问量达到了2260万次。
手痒了,量子位第一时间也来试一下Dream Machine v1.5。为了顺带检验官方demo的真实性,咱们直接微调一下官方提示词。(机智如我)
直接看重头戏——文生视频。
第一个,将原玄幻场景中的老头换成了老太太。从生成结果来看,基本要素都齐了,但是细节之处(如手部畸变)还是不能看。
prompt:old woman with a swirling fireball(手持旋转火球的老妇人)
第二个,将考察视频运动能力的原绿色puppy换成了猫咪。这个效果相当不错,猫咪大佬的气质简直扑面而来!不仅烟雾在空中的运动轨迹非常逼真,而且猫咪的耳朵还会动。
prompt:green cat smoking a cigar(抽烟的小猫咪)
第三个,将考察视频添加文字能力的原“WOW”换成了”STOP”。整体倒是挺自然,但是犯了一个致命错误:单词拼错了。(且这个视频生成最耗时)
prompt:“STOP” in balloons in the sky(”STOP”出现在天空中的气球上)
对了,知道大家肯定会被提示词难倒,有网友已经贴心整理好了大礼包。(文末链接可取)
Dream Machine是由英伟达投资的Sora竞品,背后公司是Luma AI。
联合创始人兼CEO Amit Jain是前苹果AR/CV工程师;联合创始人兼CTO Alex Yu 2021年毕业于加州伯克利,曾与Angjoo Kanazawa教授一起研究NeRF相关的3D计算机视觉。
最近一轮融资是在今年1月(B轮4300万美元),a16z领投,Anjey Midha、Amplify、Matrix、NVIDIA、South Park Commons等参投。
而且在国外一众AI视频生成工具中,用户访问数据较好。
根据Similarweb的统计,当前Luma AI领先于许多类似的AI视频生成应用。7月份全球访问量达到2260万次。
试玩地址给大家放文末了,欢迎来波反馈~
体验地址:
https://lumalabs.ai/dream-machine/creations
文章来源于“量子位”,作者“一水”
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0