你正在做的大模型评测，可能有一半都是无用功 | 上海AI Lab&上交&浙大出品
你正在做的大模型评测，可能有一半都是无用功 | 上海AI Lab&上交&浙大出品评估多模态AI模型的那些复杂测试，可能有一半都是“重复劳动”！
来自主题: AI技术研报
7809 点击 2025-03-19 10:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
评估多模态AI模型的那些复杂测试，可能有一半都是“重复劳动”！
基于闭源评测基准，近期司南针对国内外主流多模态大模型进行了全面评测，现公布司南首期多模态模型闭源评测榜单。首期榜单共包含 48 个多模态模型，其中包含：3 个国内 API 模型：GLM-4v-Plus-20250111 (智谱)，Step-1o (阶跃)，BailingMM-Pro-0120 (蚂蚁)
先说结论： 多数模型，是色盲
2024年快要结束了，世界大模型究竟孰强孰弱？刚刚，智源研究院发布了下半年大模型综合评测结果，涵盖了开源闭源100+模型，横跨文本、语音、图像和视频等多个领域。
如果给LLM做MBTI，会得到什么结果？UC伯克利的最新研究就发现，不同模型真的有自己独特的性格
随着大模型研究的深入，如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o、Claude 3.5 等都已经具备了超强的图像理解能力，LLaVA-NeXT、MiniCPM、InternVL 等开源领域模型也展现出了越来越接近闭源的性能。
GPT-4o新版本突然上线，更强更便宜。
终于，国产大模型能在综合能力上也能与GPT-4o一决雌雄了。
基于评测维度，考虑到各评测集关注的评测维度，可以将其划分为通用评测基准和具体评测基准。
最近，公司全体同事都在疯狂沉迷这款《大闹天宫MBTI》测试！各种直击打工人的灵魂拷问，让所有i人和e人在职场极限场景中反复拉扯。国产黑马和上影打造的原汁原味《大闹天宫》画风，简直让人一秒穿越回童年。