就在刚刚，OpenAI 宣布在其 API 中推出全新一代音频模型，包括语音转文本和文本转语音功能，让开发者能够轻松构建强大的语音 Agent。据 OpenAI 介绍，新推出的 gpt-4o-transcribe 采用多样化、高质量音频数据集进行了长时间的训练，能更好地捕获语音细微差别，减少误识别，大幅提升转录可靠性。
当我们看到一张猫咪照片时，大脑自然就能识别「这是一只猫」。但对计算机来说，它看到的是一个巨大的数字矩阵 —— 假设是一张 1000×1000 像素的彩色图片，实际上是一个包含 300 万个数字的数据集（1000×1000×3 个颜色通道）。每个数字代表一个像素点的颜色深浅，从 0 到 255。
文本到图像（Text-to-Image, T2I）生成任务近年来取得了飞速进展，其中以扩散模型（如 Stable Diffusion、DiT 等）和自回归（AR）模型为代表的方法取得了显著成果。然而，这些主流的生成模型通常依赖于超大规模的数据集和巨大的参数量，导致计算成本高昂、落地困难，难以高效地应用于实际生产环境。
通过收集六名志愿者一周的多模态生活数据，研究人员构建了300小时的第一视角数据集EgoLife，旨在开发一款基于智能眼镜的AI生活助手。项目提出了EgoButler系统，包含EgoGPT和EgoRAG两个模块，分别用于视频理解与长时记忆问答，助力AI深入理解日常生活并提供个性化帮助。
我是 Dify 产品团队的 Yawen。今天，我们很高兴地宣布发布 Dify v1.1.0，并推出了以“元数据”作为知识过滤器的新功能。通过利用自定义的元数据属性，元数据过滤能够提升知识库中相关数据的检索效率和准确度。过去，用户只能在庞大的数据集中进行搜索，无法根据特定需求进行筛选或控制访问，难以快速锁定最相关的信息。、
CLIP、DINO、SAM 基座的重磅问世，推动了各个领域的任务大一统，也促进了多模态大模型的蓬勃发展。
角色扮演 AI（Role-Playing Language Agents，RPLAs）作为大语言模型（LLM）的重要应用，近年来获得了广泛关注。
机器人怎样感知世界？
今年，CVPR共有13008份有效投稿并进入评审流程，其中2878篇被录用，最终录用率为22.1%。
南洋理工大学的研究团队提出了MedRAG模型，通过结合知识图谱推理增强大语言模型（LLM）的诊断能力，显著提升智能健康助手的诊断精度和个性化建议水平。MedRAG在真实临床数据集上表现优于现有模型，准确率提升11.32%，并具备良好的泛化能力，可广泛应用于不同LLM基模型。
