# 热门搜索 #
搜索
阿里发布AI生视频模型:通义万相走出了自己的“中国风”特色!
7629点击    2024-09-20 13:04

这两天,最热闹的莫过于云栖大会了!


阿里前脚发布 Qwen2.5 系列大模型,后脚发布通义万相视频生成模型,可生成影视级高清视频,可应用于影视创作、动画设计、广告设计等领域。


这是一款全自研视觉生成大模型,采用全新的 Diffusion + Transformer 架构,支持图像和视频生成类任务,在模型框架、训练数据、标注方式和产品设计上均有诸多创新,从而提供业界领先的视觉生成能力。



具体使用简单不挑地方,在通义万相官网、通义APP 都可以使用,非常方便。更重要的是,免费使用,手机随便玩,电脑每天50次图像、10次视频机会。可把我高兴坏了,赶紧就去试试。(姐妹们,赶紧薅羊毛!)


电脑端:打开网址 https://tongyi.aliyun.com/wanxiang/videoCreation 输入文字或图片,点击生成即可。


手机端:打开通义 APP,点击频道,找到万相 AI 生视频即可生成。


这几年,中国风元素逐渐走出国门,在全球文化舞台上大放异彩。前段时间的《黑神话·悟空》的游戏画面更是让老外十分震惊。


无论对于创作者还是普通爱好者,想要创作出高质量的中国风视频,往往面临着语言理解、创意匮乏、制作成本高、专业门槛高等诸多挑战。而通义万相的出现,不仅能理解复杂的中文描述,还能将抽象的文化元素具象化,让每个人都能轻松成为中国风视频的创作者。


让我惊喜的是不仅精通中文,更深谙中国文化,我们给AI导演的四个创作主题,看看这位AI导演能否担起重任!


灵动的水墨锦鲤与会动的《千里江山图》


我们让AI生成一张动态的千里江山图,这里主要测试通义万相,对于中文的理解,并生成复杂的人物动作、环境互动和中国传统元素,先来看个文生视频


提示词:国风,千里江山图,木舟悠然游动,江面水波律动



通义万相相对完美解读了"国风"、"水墨画"等概念,在理解上基本达到了满分,当涉及到“木舟、水面”等多个元素,都能准确呈现。将中国传统绘画的精髓融入创作中。


在千里江山图中,它不仅赋予画面动感的同时,还保留了中国传统绘画的韵味。这种动静结合的美感,可以说是AI艺术创作的一大突破。再来个图生视频:一只锦鲤在荷塘里,水墨画。



在语义理解这块,只给一句话,就把锦鲤在水面上的游动、水波的律动刻画地非常生动,甚至鱼的眼睛还在动,这满满的细节,整个动画十分流畅。看来中文长本文理解的加强是实实在在的,同时对中文内容和元素原生支持更好。属实是牛!


既然对语义理解没问题,那我们升级难度,我们将测试通义万相在生成复杂运动效果方面的能力,特别是在中国武侠场景中。这里主要测试通义万相,理解并生成复杂的人物动作、环境互动和中国传统元素。


提示词:竹林飞檐,白衣剑客轻功漫步,竹叶纷飞



特别值得一提的是,通义万相在处理"轻功漫步"这种虚幻的动作时,白衣剑客在竹林间轻盈跃动,体现了AI对"轻功"概念的理解。它不仅要理解"轻功"这个中国特有的武侠概念,还要将其可视化,这难度可不亚于教一只企鹅打太极拳!


如果不了解如何写好提示词,可以在产品界面点击“灵感扩写”,将简单提示词自动“扩写”成忠于原意的长提示词,从而大幅度提升生成效果。



扩写之后,提示词更加详细丰富,画面内容也更加有韵味。



提示词:视频展示了在中国风的背景下,一位身着白衣的剑客在竹林间施展轻功漫步的场景。视频中,剑客身形矫健,仿佛踏风而行,穿梭于高耸的竹林之间,每一次落地都轻盈无声。竹叶在剑客的行动中纷飞,如同随风起舞,营造出一种超凡脱俗的意境。飞檐翘角的古典建筑隐约可见,增添了几分古韵。整个画面充满了诗意和动感,让人仿佛置身于古代武侠世界之中。


扩写之后的效果场景上细节很丰富,竹叶随剑客移动而飘动,呈现了良好的环境互动。同时影像风格统一,符合水墨画美学。整体彰显了AI在场景理解、文化元素融合方面的进步。


哦,对了,官方与宝石 Gem 合作国风《江雪MV》,真的蛮惊艳,我很喜欢。


官方与宝石 Gem 合作《江雪MV》


妥妥的“动感超人”


通义万相视频生成大模型集成了多项创新技术,有效解决画面表现力和大幅度运动等视频生成技术难题。针对运动生成和物理模拟等难点优化算法,实现了大幅度主体运动和运镜控制,并有效模拟真实世界物理特性;设计了高压缩比、高质量视频VAE框架,有效降低视频信息冗余,并保持高质量视频重构能力。


我们一起来看看运动效果如何。


提示词:京剧演员在海底剧场翻腾跳跃,彩带与气泡交织飞舞



这个场景的效果我还是蛮惊讶的,彩带在水中飘动,与气泡交织,形成了动态的视觉层次,增添了场景的奇幻感,展现了复杂的流体动力学模拟能力。


AI成功模拟了水的浮力和阻力对人体运动的影响。京剧演员的翻腾跳跃动作可能显得更加轻盈缓慢,体现了水下运动的特性。


提示词:功夫大师在摩天大楼间飞檐走壁,霓虹灯光随动作闪烁



功夫大师的"飞檐走壁"动作需要精确的重心转移和身体控制。AI成功模拟了这种高难度动作,包括跳跃、翻转和快速位移。大师的动作流畅自然,体现了通义万相对人体运动力学的准确理解。


而在高楼间穿梭时,AI准确表现了重力作用和惯性效果。大师在跃起时的加速和落地时的缓冲都符合物理规律,增添了场景的真实感。


人物的下落的效果是很自然的。可能大家也发现了,视频效果中有音效,还非常契合。这一次,通义万相能生成,与视觉内容高度匹配的声音特效,实现音画同步,增强视听一体的沉浸感。


提示词:繁华都市夜景,旗袍女子漫步霓虹街头,古今交融



AI成功营造出古今交融的氛围,旗袍与都市景观的和谐统一体现了其出色的风格融合算法。霓虹灯下的都市夜景,旗袍女子优雅漫步其中,她的服饰在灯光下呈现动态光泽,传统刺绣与现代灯光相映成趣。场景中流动的行人和交通增添了真实感,展示了模型在复杂动态场景生成方面的进步。


再看一个画面内人物转身较大的效果。


提示词:复古太空通信员,转身操作通信设备,背景是撒哈拉沙漠和金字塔。



这么快的运镜下基本是没有变形的。更多的运动效果如下:


运动效果合集


提示词:视频展示了一座宏伟的古典建筑,镜头缓缓推进,聚焦于被盛开樱花环绕的建筑。金色的灯光闪烁,给人温暖而梦幻的感觉,前景中的水面如镜子般反射着建筑和花瓣。



水面波光粼粼,镜头推进光影变化效果真实细腻,这不就是我们要真实感吗?说实话,在AI物理世界理解这块,通义是我目前使用过做的最好的。


音画同步:AI导演的配音绝活


说起视频制作,光有好画面还不够,配上合适的音效才能让作品更有感染力。而通义万相在这方面可是有独门绝技——音画同步功能。


还记得我们之前生成的那些动感十足的视频吗?无论是轻功水上漂的武侠高手,还是在霓虹灯下漫步的旗袍美人,通义万相都能为它们配上恰到好处的音效。



提示词:骑着机械龙的未来武士在长城上疾驰,烟火在背景绽放


听,机械马蹄声,龙剑客飞檐走壁时的呼呼风声,甚至是海底京剧时泡泡上浮的咕噜声,每一个细节都被AI精准捕捉。这哪是配音,简直就是给视频注入了灵魂!


更厉害的是,通义万相不仅能生成音效,还能创作与画面匹配的背景音乐。比如:



从自然音效到现代感十足的音乐配乐,AI都能信手拈来。画面动感,音乐就强劲;场景舒缓,旋律就轻柔。这默契度,简直比某些人类导演和配乐师配合得还要好!


通义万相的音画同步功能,不仅大大提升了生成视频的质量,还为创作者省去了找配乐、剪辑音效的麻烦。现在,只需要输入文字或上传图片,通义万相就能一条龙服务,从画面到声音,统统帮你搞定。


这种音画同步的能力,让通义万相生成的视频更具沉浸感和感染力。无论是用于短视频创作、广告制作,还是作为电影前期概念预演,都能让创意更生动、更直观地呈现出来。


看来,通义万相不仅是位"会说中国话"的AI导演,还是个"能歌善舞"的全能选手呢!有了这样的神助攻,相信未来会有更多有趣的音视频作品涌现出来。各位创作者,你们心动了吗?


多种风格的融合


除了上面的国风效果,还能融合多种风格,比如写实风格、毛毡动画、CG厚涂、3D动漫、勾线动画等风格。请看以下视频:



多种元素、多种风格的融合十分有利于想象力旺盛的创作,很多时候传统影视无法实现的效果,完全可以用AI来生成,而通义万相弥补了概念组合、元素结合、以及更强的想象力,想要什么有什么,带来更强的创作能力。


最后


如果给通义这次表现打分,我给满分100分中的90分!扣的10分是因为......well,我们总得给AI留点进步空间,对吧?


从动态水墨画到未来武侠,从海底京剧到霓虹旗袍,想要作出中国风的作品是妥妥的没问题。


整体体验下来,通义万相在理解复杂语言、生成物理世界方面很不错,同时在音画同步方面也是一绝。上面我们通过一系列融合传统与现代元素的挑战,通义万相不仅证明了自己是一位"会说中国话"的AI,更是一个深谙中国文化、能够创新演绎中国风的数字艺术家。期待它未来带来更大的创新!


最后提醒一句,通义万相现在免费,不试白不试!


文章来自于“硅星人Pro”,作者“椒盐玉兔”。


关键词: AI , AI视频 , 阿里AI , 通义万相
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0