搜索
OpenAI的实时API支持低延迟、双向音频流，使得多模态AI应用（如语音对话Agent）得以实现。它通过WebSocket连接管理对话状态，并提供短语结束检测和语音活动检测（VAD）功能，大大简化了实时语音应用的开发。
近期，港中大（深圳）联手趣丸科技联合推出了新一代大规模声音克隆 TTS 模型 ——MaskGCT。该模型在包含 10 万小时多语言数据的 Emilia 数据集上进行训练，展现出超自然的语音克隆、风格迁移以及跨语言生成能力，同时保持了较强的稳定性。MaskGCT 已在香港中文大学（深圳）与上海人工智能实验室联合开发的开源系统 Amphion 发布。
今天，Meta 分享了一系列研究和模型，这些研究和模型支撑 Meta 实现高级机器智能（AMI）目标，同时也致力于开放科学和可复现性。
语音合成大模型赛道，王者一夜易主。
近日，来自小红书的技术团队 FireRed，提出了基于大语言模型的 FireRedTTS 语音合成系统，并分享了在短视频配音及聊天式语音对话等应用的一些实践。
本文出自启元世界多模态算法组，共同一作是来自清华大学的一年级硕士生谢之非与启元世界多模态负责人吴昌桥，研究兴趣为多模态大模型、LLM Agents 等。本论文上线几天内在 github 上斩获 1000+ 星标。
8 月 21 日，2024 火山引擎 AI 创新巡展﹒上海站带来了豆包大模型最新进展。
自 2024 年 GPT-4o 出现以来，业内各公司纷纷投入巨大的资源进行 TTS 大模型的研发。近几个月内，中文语音合成大模型如雨后春笋般涌现，如 chattts、seedtts、cosyvoice 等。
许多人都非常关心的问题是，究竟在什么场景下，当下 AI 技术容易落地？
继去年初的第一代VALL-E模型之后，微软最近又上新了VALL-E 2模型，标志着第一个在合成语音稳健性、相似度、自然程度等方面达到人类水平的文本到语音模型。