ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
Pika推出音画同步新功能一天后,翻车视频来了
3938点击    2024-03-11 17:04
Pika 的音效新功能「Sound Effects」,有大大的惊喜,也有小小的「惊吓」。


Sora 的出现让文生视频模型及应用火了起来。不过,此类模型生成的视频大多数都是无声的。因此,人们开始探索为 AI 生成的视频「配音」。


这一领域的代表有 AI 语音克隆初创公司 ElevenLab,此前该公司为 Sora 的演示视频生成配音,音效与视频画面几乎没有违和感。



现在,曾经引爆了 AI 圈的视频生成初创公司 Pika 终于有了新动作 —— 推出 Sound Effects,可以为 Pika 生成的视频无缝加音效了。


Pika 生成音效的方式有两种:一种是给出 prompt,描述你想要听到的声音;一种是直接根据视频内容自动生成声音。



至于音效与视频内容的匹配效果如何?我们先一睹为快。



不过,Pika 的 Sound Effects 功能只对超级合作者(Super Collaborator)和 Pro 用户开放测试。普通用户只能再等等了。



目前,Pika 官方放出了许多 Demo。



体验地址:https://pika.art/


例如滋滋啦啦的烤肉声音,还能隐约看到烤肉时冒出的烟雾,高清的画面配上逼真的音效,让人顿时感觉焦酥,鲜咸,麻辣涌入舌尖:



如果你想换个声音,也没问题,点击视频下方的 Redo 按钮,在出现的对话框中,输入你想要的音频描述就可以了:



小青蛙趴在荷叶上呱呱的叫,如果你仔细聆听,还能听见远处的蝉鸣声(不过生成的视频看起来缺陷很明显,例如荷叶是红色的,青蛙腹部有腿):



烟花在空中绽放,绽放瞬间发出响亮的爆竹声,点卡的很准:



以上只是官方示例,生成的音频效果到底如何,我们还得看看第一波体验用户的真实感受。


第一批试用体验出炉:有惊喜,也有翻车


在 Pika 推出 Sound Effects 功能之后,第一批试用用户已经晒出了他们加上音效的 AI 视频。


比如用户 @TomLikesRobots 生成的雨中人物视频,他表示音效似乎与视频非常匹配,增添了很多氛围感。




比如用户 @RetropunkAI 生成的兔子大片,生成的音效非常有趣。



比如用户 @AiFreak_tool,为生成的视频添加了不同的音效。




当然,Sound Effects 生成的音效并不总是能够契合视频主题和画面,比如下面这个示例。



图源:@TomLikesRobots


还有用户 @DavidmComfort,他表示生成音效有时会驴头不对马嘴,但毕竟 beta 阶段,情有可原。




虽然偶有翻车,但更多人还是期待 Pika 可以赶紧开放 API。



文章来自于微信公众号 “机器之心


关键词: Pika , AI视频 , AI配音 , Sound Effects
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0