超越ControlNet！复旦联合腾讯优图提出AI生图新框架，解决多条件生成难题
超越ControlNet！复旦联合腾讯优图提出AI生图新框架，解决多条件生成难题文生图新架构来了！
来自主题: AI技术研报
6004 点击 2025-04-15 15:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
文生图新架构来了！
多模态大语言模型（MLLM）在具身智能和自动驾驶“端到端”方案中的应用日益增多，但它们真的准备好理解复杂的物理世界了吗？
移动GUI自动化智能体V-Droid采用「验证器驱动」架构，通过离散化动作空间并利用LLM评估候选动作，实现了高效决策。在AndroidWorld等多个基准测试中任务成功率分别达到59.5%、38.3%和49%，决策延迟仅0.7秒，接近实时响应。
近日，阿里通义实验室推出了全新数字人视频生成大模型 OmniTalker，只需上传一段参考视频，不仅能学会视频中人物的表情和声音，还能模仿说话风格。相比传统的数字人生产流程，该方法能够有效降低制作成本，提高生成内容的真实感和互动体验，满足更广泛的应用需求。目前该项目已在魔搭社区、HuggingFace 开放体验入口，并提供了十多个模板，所有人可以直接免费使用。
组合优化问题（COPs）在科学和工业领域无处不在，从物流调度到芯片设计，从社交网络分析到人工智能算法，其高效求解一直是研究热点。
近年来，大语言模型（LLMs）的对齐研究成为人工智能领域的核心挑战之一，而偏好数据集的质量直接决定了对齐的效果。无论是通过人类反馈的强化学习（RLHF），还是基于「RL-Free」的各类直接偏好优化方法（例如 DPO），都离不开高质量偏好数据集的构建。
虽然扩散模型在视频生成领域展现出了卓越的性能，但是视频扩散模型通常需要大量的推理步骤对高斯噪声进行去噪才能生成一个视频。这个过程既耗时又耗计算资源。例如，HunyuanVideo [1] 需要 3234 秒才能在单张 A100 上生成 5 秒、720×1280、24fps 的视频。
开发Agent的工程师们都曾面临同一个棘手问题：当任务步骤增多，你的Agent就像患上"数字健忘症"，忘记之前做过什么，无法处理用户的修改请求，甚至在多轮对话中迷失自我。不仅用户体验受损，token开销也居高不下。TME树状记忆引擎通过结构化状态管理方案，彻底解决了这一痛点，让你的Agent像拥有完美记忆力的助手，在复杂任务中游刃有余，同时将token消耗降低26%。
Figure公司通过强化学习，成功实现机器人的自然步态。利用高效物理模拟器，仅用几小时完成相当于多年训练的数据，训练出的策略无需额外调整即可「零样本」迁移至真实机器人。
随着 OpenAI o1 和 DeepSeek R1 的爆火，大语言模型（LLM）的推理能力增强和测试时扩展（TTS）受到广泛关注。然而，在复杂推理问题中，如何精准评估模型每一步回答的质量，仍然是一个亟待解决的难题。传统的过程奖励模型（PRM）虽能验证推理步骤，但受限于标量评分机制，难以捕捉深层逻辑错误，且其判别式建模方式限制了测试时的拓展能力。