ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
剪映即梦AI上手体验:想要「干翻」Sora,似乎还有点距离
5706点击    2024-05-14 19:12

说起剪映,相信大部分人对它的第一印象都是视频剪辑,凭借操作简单、使用方便等特点,剪映深受视频小白、剪辑爱好者,乃至视频工作者喜爱。


今年年初,Sora文生视频给行业带来了不小的震撼,作为一款时刻处于潮流尖端的软件,剪映自然不会错过AI浪潮,将产品与生成式AI相融合,或许是视频剪辑软件的未来方向之一。


近日,剪映Dreamina官宣其品牌正式更名为中文“即梦”,同时全量上线AI作图和AI视频生成功能。即梦核心功能包括图片生成、智能画布、视频生成以及故事创作,其中图片生成和视频生成功能为大家熟知的文字、图片描述生成,借助AI技术降低用户创作门槛;而智能画布功能则是即梦的一大亮点,通过交互式设计,让用户对图片或AI生成图片进行二次创作。


而故事创作功能即AI生成连续性更强、更具故事性的视频,小雷对这个功能十分期待,这意味着用户对AI视频的把控性会越来越强,假以时日,未必不能借助AI生成人物一致、内容一致的长篇连载视频。不过目前该功能还在测试中,正式上线还需等待一段时间。


最近小雷也体验了不少AI生成产品,有惊喜,也有失望,即梦的生成式AI水平属于什么水平,让小雷带你一探究竟。


文生图片表现稳定,产品本土化需重视


即梦首页布局比较简洁,重点突出AI作图和AI视频两大功能模块,模块下方罗列着其他用户创作的作品,包含动漫、写实、科幻、水墨等风格。


小雷大致看了一圈,感觉作品质量还挺高的,并且作品生成关键词绝大多数为中文,仅有少部分是英文。作为国内厂商开发的软件,即梦AI对中文的理解能力应该比国外产品更好。 



图源:即梦


图片生成的具体步骤与市面其他AI生成产品一致,用户通过输入描述关键词来生成AI图片。为了让AI更好理解关键词,即梦支持导入参考图以及选择生图模型,生成出符合用户需求的图片。


图片质量和尺寸方面,用户可以决定图片精细度(1-50范围),数值越大生成的效果质量越好,耗时会更久。同时,即梦支持7种尺寸的图片比例,方便用户使用AI图片。



图源:即梦


小雷参考其他作品的关键词,以关键词“红色长发女人肖像,黑色长裙,写真风格,精致的审美情感,逼真的图像”生成了一张写真风格的图片。不知道是网络问题还是精细度拉的太高,第一次生成就失败了,第二次生成过程还算顺利,耗时大约30s就出现了4张不同的AI图片。




图源:即梦


大家觉得四张AI图片的质量怎么样?小雷个人挺满意的,人像面部、身体特征清晰。在小雷这个外行人眼中,样张质量已经和杂志相差无几了,唯独欧美风模特让人有点摸不着头脑。小雷输入的关键词只提及了性别,但AI似乎默认了人种。 


后续小雷在不改变其他关键词的情况下,新增了“亚洲”定语,AI也能顺利识别。面向国内市场,即梦AI大模型或许要在优先度方面调整,才能更符合国内用户的使用习惯。



图源:即梦


除了人像图片外,即梦其他风格的生成图片也有不俗表现。从仿真人的摄影写真,到风格迥异的手绘插画,小雷生成了不同风格的图片,AI表现比较稳定,基本能精准生成,但在手指细节等生成式AI通病上还是偶尔会出现瑕疵。




图源:即梦


智能画布:无限扩图是个好东西


智能画布是即梦AI的一大特色功能,支持扩图、局部重绘、消除抠图、高清放大等功能。该功能不仅可以对普通图片进行编辑和AI重绘,还能二次创作用户生成的AI图片,修改区域和风格由用户自行决定。 



图源:Pexels


小雷首先对普通图片(地球)进行了图生图AI重绘,关键词为“魔幻地球”。原本普通的地球图片经过AI重绘后,变得科幻感满满,新增的光影和色彩效果让图片变得更立体。不过因为原图布局的原因,导致地球四周环境不够明显,这时候就需要扩图功能了。



图源:即梦


经测试,小雷发现即梦AI的扩图功能理论上是无上限的,也就是用户可以一直扩图下去。扩图时用户可以输入本次扩图的关键词,如果关键词为空,那么AI将按照原图的AI风格扩图。


小雷还是得提醒下想要体验智能画布的朋友,虽然智能画布的生成效果和效率确实不错,但局部重绘功能还是存在不小的缺陷,以普通地球图片为例,如果你手动选择了重绘范围,那么很可能会获得各种奇葩风格的地球照片,小雷就亲眼见证地球变成了一锅饺子。


小雷猜测这可能是局部重绘没有输入关键词选项的缘故,AI会自行判断重绘风格,并且判断正确率不高,或许即梦后续会继续优化该功能,给用户更好的使用体验。



图源:即梦


AI视频:效果不及预期


接下来是即梦AI的重头戏——AI视频生成,与AI图片相比,AI视频兴起的时间较短,并且有Sora这样的前辈作为参考,也能更好的观察即梦的视频生成能力。


与图片生成一样,视频生成也有文本生视频和图片生视频两种模式。小雷先体验了文本生视频模式,关键词为“一个中国古风小女孩,在长城上跑步跳跃,表情开心,笑容甜美”。值得一提的是,非会员用户目前只能免费生成3s的视频,想增加时长就只能充值了。


视频一出来,小雷是又惊又喜。喜的是关键词几乎都识别到了,惊的则是视频质量差的有点离谱,尤其是小女孩的表情,小雷差点以为自己点开了B站鬼畜,五官移位就不提了,这表情多少有些狰狞了。而关键词“跑步跳跃”也升级成了御空飞行,说到底还是AI没能彻底理解关键词的逻辑。



图源:即梦


小雷发现首页展示的精美作品,大多是采取图片生视频模式,并且许多用户只是直接上传图片没有添加关键词,但还是能实现不错的效果。为此,小雷继续尝试图片生成视频,这次我选取了刚刚AI生成的图片作为蓝图。


用图片生视频模式,相当于给AI框定了方向,因此视频质量没有出现大的纰漏,但还是同样的问题,远处两个人物的动作不太符合物理定律,看上去十分违和。可能是没有太多动作的缘故,近处人物和背景的情况相对好很多。



图源:即梦


总的来说,两种生成模式视频的质量还不错,大家看到的效果是经过视频转动图的压缩,视频质量有一定影响。其次,文本生视频比图片生视频的效果差太多了,人物与背景透露着不真实感。同样的,图片生视频也存在许多问题,人物动作以及环境可以改进的地方还有很多。


目前受限于3s时长,小雷无法窥见即梦AI视频的全貌。按照目前的体验,小雷认为与其说是视频,倒不如说是动图。当然,这是针对非会员,会员解锁视频时长后能取得什么样的成果,还需等待其他用户的分享。


写在最后


体验AI图片生成有多惊喜,体验AI视频生成就有多失望,这是小雷一通体验下来的真实感受。起初,风格各异但又能保持稳定高质量的生成图片,让我产生了国产生成式AI崛起的感觉,但很快生成视频的各种情况又让我打消了这个念头。


其实这也能理解,毕竟视频生成兴起的时间并不长,即梦又是刚刚推出的新产品,用户需要给多点耐心支持国产大模型发展,毕竟最让人感兴趣的故事创作功能还没正式上线。现阶段,即梦视频生成还存在很大的改进空间,其中3s时长的限制或许是即梦在C端传播的最大问题。


不难理解品牌需要创造盈利点,但3s充其量只是个动图时长,如果能稍微放宽点时长限制,用户也能更好的感受即梦AI带来的创造力。


目前即梦图片生成功能限时免费,视频生成功能每个视频消耗12积分,新用户每天领取60积分,也就是支持生成5个视频,感兴趣的朋友可以自行体验。


本文来自“雷科技”,36氪经授权发布。