知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳人类在学习新知识时，总是遵循从“记忆事实”到“理解概念”再到“掌握技能”的认知路径。
来自主题: AI技术研报
6097 点击 2025-06-14 12:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
人类在学习新知识时，总是遵循从“记忆事实”到“理解概念”再到“掌握技能”的认知路径。
FLUX 的 Kontext 最近太猛，基本上除了不能写中文已经是全能的图像编辑应用了。
研究者针对 few-shot 图像编辑提出一个新的自回归模型结构 ——InstaManip，并创新性地提出分组自注意力机制（group self-attention），在此任务上取得了优异的效果。
GPT-4o-Image也只能完成28.9%的任务，图像编辑评测新基准来了！360个全部由人类专家仔细思考并校对的高质量测试案例，暴露多模态模型在结合推理能力进行图像编辑时的短板。
FLUX.1 Kontext是一款融合即时文本图像编辑与文本到图像生成的新一代模型，支持文本与图像提示，角色一致性强，速度快达GPT-Image-1的8倍。
字节最近真的猛猛开源啊……这一次，他们直接开源了GPT-4o级别的图像生成能力。不止于此，其最新融合的多模态模型BAGEL主打一个“大一统”， 将带图推理、图像编辑、3D生成等功能全都集中到了一个模型。
字节开源图像编辑新方法，比当前SOTA方法提高9.19%的性能，只用了1/30的训练数据和1/13参数规模的模型。
随着Gemini、GPT-4o等商业大模型把基于文本的图像编辑这一任务再次推向高峰，获取更高质量的编辑数据用于训练、以及训练更大参数量的模型似乎成了提高图像编辑性能的唯一出路。然而浙大哈佛这个团队却反其道而行之，仅用以往工作0.1%的数据量（获取自公开数据集）和1%的训练参数，以极低成本实现了图像的高质量编辑，在一些方面媲美甚至超越商业大模型！
阶跃星辰正式发布并开源图像编辑大模型 Step1X-Edit，性能达到开源 SOTA。该模型总参数量为 19B (7B MLLM + 12B DiT)，具备语义精准解析、身份一致性保持、高精度区域级控制三项关键能力；支持 11 类高频图像编辑任务类型，如文字替换、风格迁移、材质变换、人物修图等。
论文第一作者为余鑫，香港大学三年级博士生，通讯作者为香港大学齐晓娟教授。主要研究方向为生成模型及其在图像和 3D 中的应用，发表计算机视觉和图形学顶级会议期刊论文数十篇，论文数次获得 Oral, Spotlight 和 Best Paper Honorable Mention 等荣誉。此项研究工作为作者于 Adobe Research 的实习期间完成。