发布不到2天,那个号称“下一代”文生视频的Dream Machine(来自Luma AI),大大大大翻车。
原本宣传中的效果是这样的:
效果之惊艳,令人直呼“忘掉Sora”、“影视级水平”,并且Luma也是相当自信地表示“在线免费可玩”。
然而……当网友们纷纷前去尝鲜之后,得到的结果却是大跌眼镜。
例如给Dream Machine“投喂”一张OpenAI的一张合影:
结果它生成的视频是这样的:
是的,打起来了,而且人物的畸变也是相当离谱。
网友们也是忍俊不禁,调侃地说道:
我们终于知道去年OpenAI发生了什么。
再“投喂”一张奥特曼、老黄和Brockman的合影:
Dream Machine这次给出的结果是:
没错……又打起来了。
(Dream Machine好像很暴力的样子)
虽说Dream Machine生成视频的效果和剧情有些离谱,但爱整活儿的网友们却是坐不住了,直接开辟了一个新赛道。
或许Dream Machine这种“不走寻常路”的风格,跟表情包的气质很搭,现在网友们更乐于让AI“续写”表情包:
AI让memes栩栩如生。
Luma的Dream Machine可以当成Meme Machine了。
例如这张非常经典的表情包,在Dream Machine的加持下,后续的故事就谱写出来了:
然而还有更drama的版本——顺手牵羊:
男主角还从一名白人直接变成了三哥……
我们经常用到的“狗头”表情包,也在Dream Machine之下活了起来:
还有“淡定姐”和“励志哥”:
不难看出,Dream Machine被网友们吐槽翻车的最大问题,就是在于无法保证视频内容的连续性。
尤其是在生成人物方面,前后帧直接变人种、变性别的概率比较高。
因此,也有网友建议:
使用Luma最好的方法,就是先用Midjourney这样的工具生成关键图片,然后再用Luma对其处理。
然而,说到AI翻车,Luma的Dream Machine并不是个例。
前两天Stable Diffusion 3开源的消息也是让不少的网友们兴奋了一把。
但在亲自体验过后,很多人却直呼离了大谱。
例如生成一个躺在草地上的女孩,结果“打开方式”是这样的:
而且不是个例,只要是和人(整体)相关的内容,生成结果都有点掉san。
虽然在生成其它方面SD3的效果还是能让人满意,但它和Dream Machine一样,总是处理不好人类。
有人发现,如果细看“躺在草坪上的女孩”这张图像,会发现它在局部细节上确实还可以,甚至很棒。
草地上的影子、衣物上反射的光线、头发的质地……都遵循了物理规律。
但人物整体就不敢恭维了。
不少网友都认为,这就是问题的关键。
我认为他们的NSFW过滤器,把所有人类图像都判定为了NSFW。
这个过滤器全称是filtering out adult content,作用在于过滤掉不合规的成人内容。
SD2发布时就出现过类似的问题,研究人员发现审查这部分内容可能影响了模型对人体结构的理解。
后面的SD2.1和SDXL版本在这一问题上有所缓解。
这次SD3的翻车,暴露了一个问题:过于严格的数据审核,可能误删了一些无害的成人图像,所以现在模型没法理解人体结构。
总而言之,无论是Dream Machine还是SD3等,AIGC应用工具还需要不断加强和完善。
不过若是对整活表情包感兴趣的小伙伴,现在就可以去试试了:
https://lumalabs.ai/dream-machine
参考链接:
[1]https://x.com/lumalabsai/status/1800921380034379951?s=46&t=6eepxw1G6XRQ7VO0ANjJWg
[2]https://twitter.com/minchoi/status/1801338536597274999
[3]https://x.com/emollick/status/1801474104182390803
文章来源于:微信公众号量子位,作者:金磊