切换到宽版
 找回密码
 立即注册

QQ登录

只需一步,快速开始

西秦会馆

爆料、咨询:18909006163
广告、合作:13990030637
查看: 4566 | 回复: 12

[盐都杂谈] 量子位/中国AI大战高考物理,第1题全对,第2题开始放飞

  [复制链接]

5万

主题

9万

帖子

49

听众

Rank: 12Rank: 12

积分
379826
威望
38731 点
铜板
208820 枚
西秦金币
0 个
鲜花
327 朵

在线时间
18480 小时
注册时间
2010-6-10
发表于 2024-6-11 10:50:32 | 显示全部楼层 |阅读模式 | 来自四川

端午佳节,有的地方高考已经结束,有的考生还奋战在考场上。

先祝大家都心想事成,考出水平。

陆陆续续,文理综各个科目的考试题目开始在网上流出,那么语文数学之后,也是时候让大模型们继续来挑战一波了。

考题方面,先给大模型们来一份辽宁物理——

多解释一嘴,新高考改革下大部分省份已经取消了文理分科,采用3+1+2或3+3的新模式,也就是物理化学生物现在是拆开考的。

那么闲话少叙,我们有请参赛AI助手——

通义千问、文心一言、Kimi、智谱清言、豆包、海螺AI、腾讯元宝、讯飞星火、天工、百小应、万知、商量。

Round 1:单选题

这份物理卷共有10道选择题,其中1-7题为单选题,总计28分。

1、3两题不涉及图片解析,人类考官直接把题目扔给了大模型:

图片题给出的提示词统一为:查看图中题目,给出答案。

在看详细答案之前,心急的看官们可以先扫一眼“考试”结果(测试方法比较简单粗暴,不能完全反映各AI真实水平,仅图一乐):

文心一言、豆包、天工、智谱清言和商量出现了不同程度读图失败的问题,在成功识别的题目中,商量和文心一言的正确率为2/4,豆包、天工、智谱清言正确率为1/2。

接下来,就来看看大模型们的具体表现。

单选题中,准确率最高的是第一题,一道有关标量矢量的概念题,参赛大模型百分百通过。

到了第二题,大模型们就开始各有各的想法了。

题目是:

来看看成功得分的选手们的回答:

通义千问

文心一言

海螺AI

讯飞星火

4位选手中,文心一言和讯飞星火进行了逐个答案的分析,海螺AI则最言简意赅,只回答了答案没给过程。

另一道正确率比较高的题,是难度较大的第5题。

但答对这道题的选手名单有所不同,讯飞星火、海螺AI依然在列,另外两位换成了Kimi和腾讯元宝。

Kimi

腾讯元宝

和海螺AI一样,腾讯元宝也是惜字如金型(doge)。

另外一个有意思的现象是,有的大模型选手尽管答案不对,但还挺有考试技巧的。

比如ChatGLM,在面对双缝干涉实验中,“哪种说法可以使相邻两条亮纹中央间距变小”这个问题时,它一通分析觉得答案全错,但还是退而求其次挑了一个看上去相对正确的答案。

Round 2:多选题

再来看看多选题(18分)的情况。

p.s. 在多选题作答过程中,人类考官在提示词中提醒了选手们这是“多选题”。

根据多选题判卷规则,全部选对得满分,部分选对得一半分,有选错不得分,表现最佳的是海螺AI(2道题全对,1道题部分对),其次是通义千问、文心一言和万知(1道题全对,2道题部分对)。

和单选题的情况类似,大模型们正确率最高的第8题是一道概念题:

X射线光电子能谱仪是利用X光照射材料表面激发出光电子,并对光电子进行分析的科研仪器,用某一频率的X光照射某金属表面,逸出了光电子,若增加此X光的强度,则( )

A. 该金属的逸出功增大

B. X光的光子能量不变

C. 逸出的光电子最大初动能增大

D. 单位时间逸出的光电子增多

第9题有两位选手选中了全部正确选项:海螺AI和万知。

来看看万知的具体回答:

今日份的测试,就先到这里,你觉得大模型们的表现如何?至少在这份物理卷子46分的选择题里,还是有不少选手能拿到及格分了。





441

主题

4万

帖子

9

听众

Rank: 12Rank: 12

积分
87518
威望
441 点
铜板
45173 枚
西秦金币
0 个
鲜花
84 朵

在线时间
5571 小时
注册时间
2016-3-4
发表于 2024-6-11 11:17:30 来自手机 | 显示全部楼层 | 来自四川
路过了
回复

使用道具 举报

4

主题

2万

帖子

0

听众

Rank: 11Rank: 11Rank: 11

积分
62584
威望
4 点
铜板
36385 枚
西秦金币
0 个
鲜花
0 朵

在线时间
8319 小时
注册时间
2022-6-29
发表于 2024-6-11 14:30:50 来自手机 | 显示全部楼层 | 来自四川
看帖
回复

使用道具 举报

1

主题

3万

帖子

3

听众

Rank: 11Rank: 11Rank: 11

积分
69678
威望
1 点
铜板
36150 枚
西秦金币
0 个
鲜花
0 朵

在线时间
2571 小时
注册时间
2020-10-25
发表于 2024-6-11 15:30:42 来自手机 | 显示全部楼层 | 来自四川
路过
回复

使用道具 举报

0

主题

3万

帖子

3

听众

Rank: 11Rank: 11Rank: 11

积分
65722
威望
0 点
铜板
33922 枚
西秦金币
0 个
鲜花
0 朵

在线时间
3630 小时
注册时间
2021-8-13
发表于 2024-6-11 17:59:19 来自手机 | 显示全部楼层 | 来自四川
路过
回复

使用道具 举报

0

主题

1万

帖子

0

听众

Rank: 11Rank: 11Rank: 11

积分
39865
威望
0 点
铜板
20503 枚
西秦金币
0 个
鲜花
0 朵

在线时间
711 小时
注册时间
2022-10-16
发表于 2024-6-11 19:11:07 来自手机 | 显示全部楼层 | 来自四川
回复

使用道具 举报

0

主题

1万

帖子

0

听众

Rank: 11Rank: 11Rank: 11

积分
35615
威望
0 点
铜板
18359 枚
西秦金币
0 个
鲜花
0 朵

在线时间
766 小时
注册时间
2022-11-13
发表于 2024-6-11 21:47:41 来自手机 | 显示全部楼层 | 来自四川
路过
回复

使用道具 举报

2

主题

1万

帖子

5

听众

Rank: 11Rank: 11Rank: 11

积分
35857
威望
2 点
铜板
18725 枚
西秦金币
0 个
鲜花
0 朵

在线时间
1321 小时
注册时间
2017-1-13
发表于 2024-6-11 22:26:49 来自手机 | 显示全部楼层 | 来自四川
路过
回复

使用道具 举报

12

主题

3万

帖子

14

听众

Rank: 11Rank: 11Rank: 11

积分
75264
威望
1 点
铜板
39758 枚
西秦金币
0 个
鲜花
20 朵

在线时间
3839 小时
注册时间
2009-10-5
发表于 2024-6-12 00:20:31 来自手机 | 显示全部楼层 | 来自新疆
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    快速回复 返回顶部 返回列表