彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器
彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器多模态大模型的研发范式，正在被彻底重构。
来自主题: AI技术研报
5554 点击 2026-03-09 09:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大模型的研发范式，正在被彻底重构。
香港科技大学 & 北航 & 商汤等提出了一个专门面向视频生成扩散模型的 QAT 范式 ——QVGen，在 3-bit / 4-bit 都能把质量拉回来，并且让 4-bit 首次接近全精度表现成为现实。该论文现已被 ICLR 高分接收：rebuttal 前 88666（top 1.4%），rebuttal 后 88886 （top 0.5%）。
就在刚刚，人形机器人赛道投下了一颗“开源炸弹”。
作者来自 Nanyang Technological University（MMLab） 与 SenseTime Research，提出 Prism Hypothesis（棱镜假说） 与 Unified Autoencoding（UAE），尝试用 “频率谱” 的统一视角，把语义编码器与像素编码器的表示冲突真正 “合并解决”。
近日，liko.ai 宣布完成首轮融资，由商汤国香资本、东方富海、讯飞创投、洪泰基金、正轩投资、面壁智能等多家产业及财务投资机构联合投资，光源资本担任孵化方及独家财务顾问。本轮融资将用于端侧视觉语言模型、AI 原生硬件以及家庭多模态通用终端研发。
「高烧」三年后，AI行业终于冷静：Scaling红利即将耗尽，单纯堆参数绝非良药。但商汤已胸有成竹。
近日，由上海市规划资源局与商汤大装置联合打造的全国规划资源领域首个基础大模型“云宇星空大模型”（专业版）上线。这并非一个简单的对话机器人，而是一个6000亿参数、深度嵌入规资全业务系统的行业大模型：它能调取地图、做统计，能理解规划图纸、会写报告，覆盖从知识检索、空间分析到决策支撑的完整工作闭环。
现有视频生成模型往往难以兼顾「运镜」与「摄影美学」的精确控制。为此，华中科技大学、南洋理工大学、商汤科技和上海人工智能实验室团队推出了 CineCtrl。作为首个统一的视频摄影控制 V2V 框架，CineCtrl 通过解耦交叉注意力机制，摆脱了多控制信号共同控制的效果耦合问题，实现了对视频相机外参轨迹与摄影效果的独立、精细、协调控制。
李飞飞团队最新的空间智能模型Cambrian-S，首次被一个国产开源AI超越了。
自 Sora 2 发布以来，各大科技厂商迎来新一轮视频生成模型「军备竞赛」，纷纷赶在年底前推出更强的迭代版本。