百度全新语音语言大模型发布！实时通话延迟卷至1秒，还公开了技术细节
百度全新语音语言大模型发布！实时通话延迟卷至1秒，还公开了技术细节大家好，我是小瑶，今天是你们的 AI 前排吃瓜 + 技术解读博主。
来自主题: AI资讯
6807 点击 2025-04-02 10:35
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大家好，我是小瑶，今天是你们的 AI 前排吃瓜 + 技术解读博主。
（用户的）信任是要靠争取的，如果模型在设计时没有考虑到这一点，它们就永远无法发挥出全部潜力。
现在，你可以指导 GPT-4o 的说话方式了。
就在刚刚，OpenAI 宣布在其 API 中推出全新一代音频模型，包括语音转文本和文本转语音功能，让开发者能够轻松构建强大的语音 Agent。据 OpenAI 介绍，新推出的 gpt-4o-transcribe 采用多样化、高质量音频数据集进行了长时间的训练，能更好地捕获语音细微差别，减少误识别，大幅提升转录可靠性。
语音Agent市场在2024年下半年迎来爆发式增长。据Cartesia统计，在最新一届YC中，构建语音相关产品的公司占比达22%。
播客录制和编辑平台 Podcastle ，如今也加入了 AI 文本转语音竞赛，发布了其名为 Asyncflow v1.0 的 AI 模型。同时，还将为开发者提供 API，使他们能够直接将文本转语音模型集成到自己的应用中。
ElevenLabs 似乎无处不在。2025年 1 月，Lex Fridman在基辅对乌克兰总统Zelenskyy进行了长达三小时的采访，采访中使用了ElevenLabs 提供的AI英语、乌克兰语和俄语翻译，完美地保留了泽连斯基的语音和语调。这是AI消除语言障碍能力的一次引人注目的展示。
Hume AI近日推出了一款名为OCTAVE的全新文本与语音引擎，该引擎能够仅凭简单的文本描述或一段5秒的语音录音，即可生成或克隆出逼真的语音和人格特质，为虚拟角色和人机交互带来了无限可能。
OpenAI的实时API支持低延迟、双向音频流，使得多模态AI应用（如语音对话Agent）得以实现。它通过WebSocket连接管理对话状态，并提供短语结束检测和语音活动检测（VAD）功能，大大简化了实时语音应用的开发。
近期，港中大（深圳）联手趣丸科技联合推出了新一代大规模声音克隆 TTS 模型 ——MaskGCT。该模型在包含 10 万小时多语言数据的 Emilia 数据集上进行训练，展现出超自然的语音克隆、风格迁移以及跨语言生成能力，同时保持了较强的稳定性。MaskGCT 已在香港中文大学（深圳）与上海人工智能实验室联合开发的开源系统 Amphion 发布。