华人CV宗师黄煦涛高徒离职特斯拉，加入OpenAI！专攻多模态模型研究
华人CV宗师黄煦涛高徒离职特斯拉，加入OpenAI！专攻多模态模型研究华人科学家程博文官宣即将入职OpenAI，加入后训练团队参与多模态模型研究。值得一提的是，他还是著名华人计算机泰斗Thomas Huang的学生。
来自主题: AI技术研报
4586 点击 2024-03-11 17:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
华人科学家程博文官宣即将入职OpenAI，加入后训练团队参与多模态模型研究。值得一提的是，他还是著名华人计算机泰斗Thomas Huang的学生。
在视频理解这一领域，尽管多模态模型在短视频分析上取得了突破性进展，展现出了较强的理解能力，但当它们面对电影级别的长视频时，却显得力不从心。因而，长视频的分析与理解，特别是对于长达数小时电影内容的理解，成为了当前的一个巨大挑战。
谷歌Gemini文生图风波还未平，更劲爆的内幕消息又被曝出来了。
最近，OpenAI 的视频生成模型 Sora 爆火，生成式 AI 模型在多模态方面的能力再次引起广泛关注。
人形机器人已然成为科技和投资界的新宠！刚刚，OpenAI官宣将与独角兽Figure合作，专为机器人打造下一代AI大模型，具身AGI真的要来了。
去年年底，谷歌 Gemini 震撼了业界，它是谷歌「最大、最有能力和最通用」的 AI 系统，号称第一个原生多模态大模型，能力超越 GPT-4，也被认为是谷歌反击微软和 OpenAI 的强大工具。
我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。
近日，北大、斯坦福、以及Pika Labs发布了新的开源文生图框架，利用多模态LLM的能力成功解决文生图两大难题，表现超越SDXL和DALL·E 3
最近，来自UCSB和苹果的华人团队提出了MGIE，通过多模态模型引导图像精准编辑，可以10秒完成P图。
华中科技大学联合华南理工大学、北京科技大学等机构的研究人员对14个主流多模态大模型进行了全面测评，涵盖5个任务，27个数据集。