智慧之路:翻译、数学、写作与心灵成长的探讨

通义千问8mos agoupdate lida
94 0 0

文章主题:翻译题目, 数学题目, 写作题目

666ChatGPT办公新姿势,助力做AI时代先行者!

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

国内的大模型还在路上,需要给他们成长的时间。

来源|多知网

作者|王上

图片来源|言之画

比尔·盖茨上周二在圣地亚哥举行的ASU+GSV峰会上发表主旨演讲时表示:“AI聊天机器人将18个月内,可以做到教孩子阅读,辅导家庭作业。”

今年3月和4月,百度和阿里巴巴分别推出了自己的大模型。目前来看百度的文心一言阿里的通义千问均可以多轮对话、文本创作等。

未来,大模型将会朝着多模态(文本、图像、视频、音频等)继续发展,也将越来越逼近人类的智慧。

在不少专家学者看来,如果大模型足够成熟,将改变教育体系的核心要素,包括教育目标、知识获取方式等。所以,这波AI技术的爆发非常值得教育领域关注。

那么现在,各家的大模型进展到什么程度了?是否可以在学习或者教育领域直接利用呢?我们让百度的文心一言和阿里的通义千问PK了一下。

我们让文心一言和通义千问在高中英语翻译、初中数学题目、高中中文写作、代码生成、青少年心理辅导方向各出了一道题目,双方针对所有问题各自回答一遍,这样就总共是10道题目。

通过评测,我们看到了大模型在学习或教育类的问题上暂未成熟,尤其是数学这样要求精准的科目上,仍然需要继续训练。不过,我们依然看好大模型的未来,他们在教育领域的应用也是必然。

01

“作为出卷人”:题目正常、不算偏怪难

万万没想到,在出题上双方就迥然不同。以下是双方给出的题目:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:文心一言每道给出了A、B两套题,通义千问按要求给出了5道题。我们给了文心一言两次机会,它依然出了“A、B卷”,有些看不懂[挠头]……我们最后从每道题中选择了一道题,除了第4题外,其他题目都选择了A题目。

对于这5道题目,通义千问看起来更灵活,也更有针对性,更像一个“出卷人”。比如,第3题,出一道作文题目,跟通义千问的题目就非常像高考热门命题方向,是跟科技与人文相关的。从出题难度上来看,双方出的都比较偏简单。比如翻译题目,双方出的题目看起来都不像高中的英语题目。

来看他们下面的作答情况——

02

翻译题目

第一题英文翻译,文心一言的题目,是让把英文翻译成汉语:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:这个题目两个都翻译的大同小异,通义千问的会更具体。可能因为题目是文心一言出的,所以它直接翻译成了汉语。而通义千问会问是“翻译成哪门语言”,考虑得更周到一些。

来看通义千问出的这道翻译题目:

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:文心一言翻译的是“请问我怎么读这个词?” ,通义千问翻译的是 “你能告诉我这个词是什么意思吗?”文心一言的翻译更准确一些。通义千问自己出的题却没有答好,有点匪夷所思。

要么跟通义千问换一个问法吧,回答如下:

智慧之路:翻译、数学、写作与心灵成长的探讨

越来越离谱了。

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

通义千问多轮对话的能力堪忧……

03

数学题目

来看初中的数学题:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:又一次匪夷所思,这次轮到文心一言出的题目自己也做错了。这道题目是分数相乘的结果,文心一言理解成了除法。即便理解成除法,最后也不应该等于6。不知道这个结果怎么来的,迷之尴尬。通义千问理解对了,最后是1/8,即0.125,这是一个确定的值,不明白为什么最后它写的是“约等于”号,不知道是因为不自信,还是因为马虎写错了?

这次二者相同的地方在:都没有给出解题步骤,也没有给出解释。

通义千问出的初中数学题目:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:让文心一言回答了两次,都是x:9,y:0,文心一言可能连正三角形是什么都不知道。这个题目通义千问回答地非常清楚,给出了完整的解题过程,结果也是对的。

有点不死心,再次问了文心一言:

智慧之路:翻译、数学、写作与心灵成长的探讨

我们发现,文心一言其实知道正三角形是什么,但是,它就是解不对题目,第三遍依然错误。

还是不甘心,继续跟文心一言对话,想着让它让画一个正三角形的图吧,如下:

智慧之路:翻译、数学、写作与心灵成长的探讨

这……好吧o(╥﹏╥)o,文生图的能力还得加油啊~~

04

写作题目

来看文心一言出的写作题目,双方的作答情况:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:从题目来说,这道题让人想到央视2012年的采访,“你幸福吗?”这道题目看似简单,实则有一定难度,很容易落入俗套,很难脱颖而出。

再看两者的小作文,第一句话居然神同步了。从内容来看,二者结构也基本相同,均是从各个角度阐述“幸福”,不过,文心一言更偏重个人层面的感受,而通义千问涉及到社会层面以及与他人的关系。整体来看,不分伯仲。大家觉得呢?

来看通义千问出的作文题目,双方的作答情况:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:从题目来看,通义千问出的这个题目非常像高考作文,很有出卷人的视角,是科技创新的方向。

对于两者的写作,文心一言对这道题目似乎有很多思考,但直接按框架写作的,有点像论文,读起来有些生硬。通义千问的这篇虽然篇幅不长,但看起来更像一篇议论文。

05

代码生成

来看代码生成的相关题目:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:文科生表示看不懂,拉来一名程序员帮忙看了看,他表示:“核心段是一样的,不过,文心一言没有声明变量。”懂编程的老师们可以留言点评一下~~

再来看通义千问出的这道代码生成题目,二者作答情况:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:同样来自程序员的评价:“这两个对题目的理解都不一样,所以写的也不一样。文心一言的是生产随机字符串,26个字母随意拼;通义千问的是随机的英文单词,我感觉这个更切合题目。

06

心理辅导

最后是心理辅导方面的题目,文心一言出的题目,看看双方的作答:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

点评:从题目来看,文心一言出的这个题目比较宽泛,比如情绪有很多种,是什么样的情绪呢?文心一言并没有说明白。在作答方面,二者在心理方面的辅导大同小异,且都是列点式的回答两个都给出了管理情绪的具体方法,比如都提到了冥想。

最后一道题目,由通义千问提出的问题,看看双方的解答:

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

评:首先先看题目,通义千问的问题非常具体,很有针对性。再看作答,两者给出的心理解决方案都非常具体,文心一言还给出了“焦虑和压力”形成的原因。二者给出了不同的心理辅导方案,通义千问的会更多元一些。相同的是:二者都提到了学会调节情绪,还都提供了相应的理论参考。

07

总结

在出题方面,通义千问像一个出题高手,针对性较强,文心一言出了A、B两套题,可能想提供更多的方案,但有的题目比较宽泛。

针对题目解答,在翻译类题目上,二者不相上下,文心一言可能略胜一筹。

在数学类题目上,看起来通义千问更好一些,有的还给出了清晰的解题过程,文心一言还需要提升。

在作文题目上,二者各有千秋,但都还是有机器回答的痕迹。

在代码生成题目上,都有这方面的能力,可能文心一言需要更理解题目。

在心理辅导方面,二者都比较详尽,对学生和家长来说有一定的指导意义。

从整体作答风格来看,文心一言偏稳重,通义千问更灵活一点。

从答题速度上来看,通义千问的速度更快一些。比如先给文心一言输入问题,再给通义千问输入问题,最后先作答结束的是通义千问,文心一言似乎会有一个“思考”的过程。

从多轮对话能力来看,两者都有一定的多轮对话能力,都可能会根据反复对话有所校正,文心一言可能略好点,通义千问有时候比较疯魔。

文生图方面,文心一言还需要提升,差距比较大,通义千问还没有上线文生图。

这次评测的均为学习或教育方面的问题,题目不多,或许评测有偏颇。整体而言,完全用我们目前的大模型来辅导学习,尚存距离。国内的大模型还在路上,需要给他们成长的时间。正如ChatGPT一样,它也经历了从胡乱解题,到逐渐靠近正确答案,尤其是GPT-4,在专业和学术上接近人类水平。

盖茨说“AI聊天机器人将18个月内可以辅导作业”,指的应该是国外的大模型,国内的或许还需要更长时间。

END

本文作者:王上

智慧之路:翻译、数学、写作与心灵成长的探讨

智慧之路:翻译、数学、写作与心灵成长的探讨

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

© Copyright notes

Related posts

No comments

No comments...