MMMU-Pro通过三步构建过程（筛选问题、增加候选选项、引入纯视觉输入设置）更严格地评估模型的多模态理解能力；模型在新基准上的性能下降明显，表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。
来自主题: AI技术研报
8384 点击 2024-09-16 21:08
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
MMMU-Pro通过三步构建过程（筛选问题、增加候选选项、引入纯视觉输入设置）更严格地评估模型的多模态理解能力；模型在新基准上的性能下降明显，表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。
大语言模型（如 GPT-4）具备强大的语言处理能力，但其独立运作时仍存在局限性，如无法进行复杂计算，获取不到实时信息，难以提供专业定制化功能等。而大语言模型的工具调用能力使其不仅限于文字处理，更能提供全面、实时、精确的服务，极大地扩展了其应用范围和实际价值。
AI大行其道的时代，网络安全正面临前所未有的威胁。
AI的能力终于癫成了和这个世界匹配的样子——来自UCB等机构的研究者们用GPT-4o，开发出了一个「AI预言家」。
本文第一作者为 Chuanyang Jin (金川杨)，本科毕业于纽约大学，即将前往 JHU 读博。本文为他本科期间在 MIT 访问时的工作，他是最年轻的杰出论文奖获得者之一。
在OpenAI最早提出打造「Her」想法的的人，也离职创业了。
由AI生成的内容渐渐充斥了互联网。
即便是最强大的语言模型（LLM），仍会偶尔出现推理错误。除了通过提示词让模型进行不太可靠的多轮自我纠错外，有没有更系统的方法解决这一问题呢？
免训练多模态分割领域有了新突破！
提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯！相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因：LLM没有足够空间，来存储计数向量。