RAE+VAE? 预训练表征助力扩散模型Tokenizer,加速像素压缩到语义提取
RAE+VAE? 预训练表征助力扩散模型Tokenizer,加速像素压缩到语义提取近期,RAE(Diffusion Transformers with Representation Autoencoders)提出以「 冻结的预训练视觉表征」直接作为潜空间,以显著提升扩散模型的生成性能。
近期,RAE(Diffusion Transformers with Representation Autoencoders)提出以「 冻结的预训练视觉表征」直接作为潜空间,以显著提升扩散模型的生成性能。
昨天晚上,我一直很喜欢的字节家的TRAE SOLO,终于正式上线了。 自从他们之前7月21号发了以来,其实就一直在内测,一直能用到的人都不多,而现在,终于全量了。 而且,限时免费。 TRAE国内版正式
试了一下 TRAE 刚更新的 Solo 正式版,发现还是挺厉害的。尤其是这个Solo coder Agent 很强。
前段时间Trae下架了Claude,标志着但凡跟中国沾边AI工具都禁止使用 Claude 但我一点都不慌,因为已经很久没用 Claude 了 尤其在编程赛道上,国产大模型已经通过内部互卷站起来了。
早上工作的时候发现,Trae的模型列表中已经找不到Claude模型了。与此同时,行业群内、包括官方答疑群内也有不少朋友反应,自己的Trae都用不上claude。细心的朋友发现,虽然Claude模型消失了但付费用户的订阅里显示每月增加了300次的快速请求。猜测此举是对claude模型下架的一种补偿。
统一多模态模型要求视觉表征必须兼顾语义(理解)和细节(生成 / 编辑)。早期 VAE 因语义不足而理解受限。近期基于 CLIP 的统一编码器,面临理解与重建的权衡:直接量化 CLIP 特征会损害理解性能;而为冻结的 CLIP 训练解码器,又因特征细节缺失而无法精确重建。例如,RAE 使用冻结的 DINOv2 重建,PSNR 仅 19.23。
对冲基金Praetorian Capital创始人哈里斯·库珀曼(Harris Kupperman)向《每日经济新闻》记者(以下简称每经记者)表示,AI投资从回报上看说不通。整个AI行业需要1万亿美元的收入才能实现收支平衡,而目前行业的月收入仅略超10亿美元。也就是说,要收回目前计划的支出,需要约83年。
长期以来,扩散模型的训练通常依赖由变分自编码器(VAE)构建的低维潜空间表示。然而,VAE 的潜空间表征能力有限,难以有效支撑感知理解等核心视觉任务,同时「VAE + Diffusion」的范式在训练
谢赛宁团队最新研究给出了答案——VAE的时代结束,RAE将接力前行。其中表征自编码器RAE(Representation Autoencoders)是一种用于扩散Transformer(DiT)训练的新型自动编码器,其核心设计是用预训练的表征编码器(如DINO、SigLIP、MAE 等)与训练后的轻量级解码器配对,从而替代传统扩散模型中依赖的VAE(变分自动编码器)。
主打“自动化执行、多模型调用、上下文记忆”的 AI 编程应用大热,但运行卡顿、资源消耗惊人、推理成本过高等问题也随之而来。