详细讲解,耐心答疑。一个不知疲倦,更不会嫌你「问题太傻」的优秀助教。
Claude 3 推出之后,风头正劲。其中的「超大杯」Opus 号称可以在各项指标上碾压 GPT-4。这不,最近有一篇关于 Claude 3 在各个科学领域应用的文章我的朋友圈里刷屏了。文章提到了 Claude 3 在材料学、物理学和数学等领域研究的应用,让人感到非常振奋。仿佛有了这款新的大语言模型,科研工作都可以交给它来完成。这篇文章引起了广泛关注,但也有不少人持怀疑态度。由于我对材料学了解不多,我也把文章分享到朋友圈,想听听大家的意见。
结果朋友们众说纷纭。有人认为有用,也有人认为没用。与其纠结于这些争论,不如我们亲自动手试一试。
我决定让 Claude 3 帮我解答一些微积分题目,看看它在高等数学方面的表现如何,能否给出正确答案。我从 可汗学院找了一些微积分的练习题。
第一题是求一个定积分,涉及求导和根号等操作。
这题目让我感到很熟悉,毕竟大学学过,但现在让我解题确实有难度,需要重新复习。与其自己花时间做题,不如直接把题目交给 Claude 3。
Claude 3 给出了完整的解题步骤,从已知条件出发,先求导数,再计算定积分,最后得出答案为 3。
我半信半疑,把题目输入可汗学院,没想到 Claude 3 的答案居然正确。
我怀疑这是不是碰巧蒙对了,于是又尝试了第二道题。
这次我直接把题目截图发给 Claude 3,它很快给出了详细的解题步骤,最终得出答案为 -9。
我把答案提交到可汗学院,结果依然正确。
两道题下来,已经很难说 Claude 3 是在乱猜了。至少对于可汗学院上的这些定积分练习题,它能够通过 OCR 识别题目,列出清晰的解题步骤,讲明原理,并给出准确答案。
除了高数题,我还让 Claude 3 尝试解答数独题。起因是去年我带学生参加了华为杯研究生数学建模大赛,最后获得了数模之星提名奖(一等奖 200 名中的前 12)。
大赛颁奖典礼,场馆里有个有趣的环节叫做「数学文化互动」。
大家聚在一起解各种数学题,从微积分到数独,应有尽有。
我对数独不太在行,当时就想到把题目拍照发给 ChatGPT 求解。
它虽然尝试分析,但最终没能解出来,我也没拿到奖品。
今年 3 月 10 日,我再次尝试,把同样的题目发给了网页版 ChatGPT。
它还是尝试分析题目,但我看到它开始编程时就知道不妙。
ChatGPT 的英文 OCR 能力虽然不错,对中文还有欠缺。但它编程来进行 OCR ,能力就立即下降一大截。因为这些 Python 包比起 ChatGPT 的 OCR 能力,差得太远了。果不其然,最后 ChatGPT 只识别出了 8、7、4 三个数字,根本没法解题。
于是它就开始执拗地继续尝试识别,识别出来的结果是这样的:
以及这样的:
总之,对于解题来说,ChatGPT 的这些努力毫无助益。
于是我把同样的题目发给了 Claude 3。令人惊喜的是,它直接给出了最终答案,没有任何迟疑。
然而,我仔细一看就发现答案有问题。比如答案中的左上角填入了数字 5,可其实 5 已经出现在了第一行第二列,所以这显然不对。后来我又测试了几道数独题,Claude 3 的表现都不尽如人意,没有一题答对。
为了找出问题所在,我让 Claude 3 展示 OCR 识别结果。
这一下,我立即找到了原因。
我发 Claude 3 虽然能准确识别每行数字,但对于空格的位置经常出错。比如第 3 行的正确填法是「x 3 x」。
但 Claude 3 却识别成「3 x x」。
数独题中,哪怕只有一个空格位置错了,也会导致整个答案出错。不能准确把握输入,相当于考试的时候审题出错,后续结果也就可想而知了。看来 OCR 中的空白位置识别失误,是 Claude 3 无法准确解答数独问题的短板。
我把实验的结果做成了视频。
很快就有观众留言,反馈了自己测试的结果。
这证明了我的判断还是准确的。
通过这些实验,我们可以得出以下结论:Claude 3 在识别数学公式方面表现出色,能够准确识别数字和符号,理解公式含义,并给出正确解答。然而,它在数独题的空格位置识别上还存在问题,导致答案频频出错。
虽然 Claude 3 在理科题目的自动求解上还称不上完美,但在辅助自学方面,它的潜力不容小觑。想想看,以前我们做题时,还需要专门购买题目精讲手册,来详细讲解答案,帮助我们解除疑惑。现在有了 Claude 3,它能够根据你拍照输入的题目,提供详尽的解题步骤。遇到疑惑的地方,你还可以随时提问,却不用担心问题「太傻」,有损自己睿智的人设。这对于自学和课业辅导来说,是一个非常好的工具。
我目前只测试了定积分和数独题。至于 Claude 3 在其他理科题上的表现如何,还有待进一步探索。我相信,只要给它足够的准确知识作为上下文,Claude 3 在文科题目上也能有所斩获。欢迎大家都来尝试一下,更希望你能把测试结果分享到评论区,让我们共同探索人工智能在教育领域的应用前景。