ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
国产AI大战高考物理,第1题全对,第2题开始放飞
8218点击    2024-06-11 09:57

端午佳节,有的地方高考已经结束,有的考生还奋战在考场上。


先祝大家都心想事成,考出水平。


陆陆续续,文理综各个科目的考试题目开始在网上流出,那么语文数学之后,也是时候让大模型们继续来挑战一波了。



考题方面,先给大模型们来一份辽宁物理——


多解释一嘴,新高考改革下大部分省份已经取消了文理分科,采用3+1+2或3+3的新模式,也就是物理化学生物现在是拆开考的。


那么闲话少叙,我们有请参赛AI助手——


通义千问、文心一言、Kimi、智谱清言、豆包、海螺AI、腾讯元宝、讯飞星火、天工、百小应、万知、商量。



Round 1:单选题


这份物理卷共有10道选择题,其中1-7题为单选题,总计28分。


1、3两题不涉及图片解析,人类考官直接把题目扔给了大模型:



图片题给出的提示词统一为:查看图中题目,给出答案。



在看详细答案之前,心急的看官们可以先扫一眼“考试”结果(测试方法比较简单粗暴,不能完全反映各AI真实水平,仅图一乐):



文心一言、豆包、天工、智谱清言和商量出现了不同程度读图失败的问题,在成功识别的题目中,商量和文心一言的正确率为2/4,豆包、天工、智谱清言正确率为1/2。


接下来,就来看看大模型们的具体表现。


单选题中,准确率最高的是第一题,一道有关标量矢量的概念题,参赛大模型百分百通过。


到了第二题,大模型们就开始各有各的想法了。题目是:



来看看成功得分的选手们的回答:






4位选手中,文心一言和讯飞星火进行了逐个答案的分析,海螺AI则最言简意赅,只回答了答案没给过程。


另一道正确率比较高的题,是难度较大的第5题。



但答对这道题的选手名单有所不同,讯飞星火、海螺AI依然在列,另外两位换成了Kimi和腾讯元宝。




和海螺AI一样,腾讯元宝也是惜字如金型(doge)。


另外一个有意思的现象是,有的大模型选手尽管答案不对,但还挺有考试技巧的。


比如ChatGLM,在面对双缝干涉实验中,“哪种说法可以使相邻两条亮纹中央间距变小”这个问题时,它一通分析觉得答案全错,但还是退而求其次挑了一个看上去相对正确的答案。



Round 2:多选题


再来看看多选题(18分)的情况。


p.s. 在多选题作答过程中,人类考官在提示词中提醒了选手们这是“多选题”。



根据多选题判卷规则,全部选对得满分,部分选对得一半分,有选错不得分,表现最佳的是海螺AI(2道题全对,1道题部分对),其次是通义千问、文心一言和万知(1道题全对,2道题部分对)。


和单选题的情况类似,大模型们正确率最高的第8题是一道概念题:


X射线光电子能谱仪是利用X光照射材料表面激发出光电子,并对光电子进行分析的科研仪器,用某一频率的X光照射某金属表面,逸出了光电子,若增加此X光的强度,则( )
A. 该金属的逸出功增大
B. X光的光子能量不变
C. 逸出的光电子最大初动能增大
D. 单位时间逸出的光电子增多


第9题有两位选手选中了全部正确选项:海螺AI和万知。



来看看万知的具体回答:



今日份的测试,就先到这里,你觉得大模型们的表现如何?至少在这份物理卷子46分的选择题里,还是有不少选手能拿到及格分了。



文章来源于“量子位”,作者“关注前沿科技


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0