ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
英伟达投的Sora竞品飞速上新!一手实测这就奉上
7713点击    2024-08-21 14:10

在AI视频赛道卷麻了之际,英伟达投的Sora竞品,马不停蹄地推出1.5代了!



官方宣传是酱婶儿的:



据Luma创始成员介绍,相比6月推出的Dream Machine 1.0,此次升级主要围绕文生视频,整体更加智能。



新版本全民在线可玩,已经尝鲜的网友纷纷直呼:


incredible!(不可思议)

看了下网友试玩,目前的效果雀食不错,下面挑几个例子康康(PS:画质均有一定压缩)


鸡蛋成精了,会骑车的流心蛋黄:



视觉冲击力强,堪比电影运镜的快镜头。


Prompt:FPV, fast moving footage, at light speed, flying through houses before exploding into a volcano.(FPV,快速移动的镜头,以光速飞过房屋,然后爆炸成火山。)


画面上加文字的老大难,貌似也克服了。



上下分屏,丛林和海底世界刷一下就拼接起来了:


Dynamic motion, vertical 2-panel Split-screen view: lush jungle canopy above, underwater coral reef below, UHD, nature documentary style(动态运动,垂直2面板分屏视图:上面茂密的丛林树冠,下面的水下珊瑚礁,超高清,自然纪录片风格)



衣袂飘飘,自然抬头的少女漫也安排上了。



看完这波效果,不难推测为何Luma AI过去两个月增长迅猛。


网站分析平台Similarweb的数据显示,目前它在所有AI视频中(主要是国外产品)访问量排第一,仅7月份全球访问量达到了2260万次。



实测1.5代


手痒了,量子位第一时间也来试一下Dream Machine v1.5。为了顺带检验官方demo的真实性,咱们直接微调一下官方提示词(机智如我)


直接看重头戏——文生视频。


第一个,将原玄幻场景中的老头换成了老太太。从生成结果来看,基本要素都齐了,但是细节之处(如手部畸变)还是不能看。


prompt:old woman with a swirling fireball(手持旋转火球的老妇人)



第二个,将考察视频运动能力的原绿色puppy换成了猫咪。这个效果相当不错,猫咪大佬的气质简直扑面而来!不仅烟雾在空中的运动轨迹非常逼真,而且猫咪的耳朵还会动。


prompt:green cat smoking a cigar(抽烟的小猫咪)



第三个,将考察视频添加文字能力的原“WOW”换成了”STOP”。整体倒是挺自然,但是犯了一个致命错误:单词拼错了。(且这个视频生成最耗时)


prompt:“STOP” in balloons in the sky(”STOP”出现在天空中的气球上)



对了,知道大家肯定会被提示词难倒,有网友已经贴心整理好了大礼包。(文末链接可取)



来自Luma AI


Dream Machine是由英伟达投资的Sora竞品,背后公司是Luma AI


联合创始人兼CEO Amit Jain是前苹果AR/CV工程师;联合创始人兼CTO Alex Yu 2021年毕业于加州伯克利,曾与Angjoo Kanazawa教授一起研究NeRF相关的3D计算机视觉。




最近一轮融资是在今年1月(B轮4300万美元)a16z领投,Anjey Midha、Amplify、Matrix、NVIDIA、South Park Commons等参投。


而且在国外一众AI视频生成工具中,用户访问数据较好。


根据Similarweb的统计,当前Luma AI领先于许多类似的AI视频生成应用。7月份全球访问量达到2260万次。



试玩地址给大家放文末了,欢迎来波反馈~


体验地址:


https://lumalabs.ai/dream-machine/creations


文章来源于“量子位”,作者“一水”




AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner

2
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0