内测码揭秘:通义千问与文心一言问答对比分析

通义千问8mos agoupdate lida
106 0 0

文章主题:内测码, 文心一言, 通义千问, 问答情况

666ChatGPT办公新姿势,助力做AI时代先行者!

《科创板日报》4月7日讯(记者 黄心怡) 今日,阿里云宣布自研大模型“通义千问”开始邀请用户测试体验。现阶段该模型主要定向邀请企业用户进行体验测试,用户可通过官网申请(tongyi.aliyun.com),符合条件的用户可参与体验。

在《科创板日报》的记者们获取到内测代码后,他们决定对这款产品进行首次实际操作,并将其与之前的使用经验进行对比分析。

在测试过程中,通义千问与文心一言各有所长,但也不乏令人捧腹的趣事。例如,文心一言曾夸大其词,称通义千问为百度研发的顶级大模型。

首先,《科创板日报》提出了一个常见问题:你和ChatGPT的区别是什么?

“通义千问”的回答:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言的回答:

内测码揭秘:通义千问与文心一言问答对比分析

相比文心一言,通义千问显然更详细地强调了自身的优势,“自吹自擂”了一番。

那么,通义千问跟文心一言谁更强呢

通义千问的回答:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言显然还没有对” 通义千问”进行特定的识别,居然认为“通义千问”是百度研发的大模型

内测码揭秘:通义千问与文心一言问答对比分析

既然通义千问在优势中强调了代码写作能力,记者也进行了测试。

提问:我需要一段冒泡排序java代码

通义千问:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言:

内测码揭秘:通义千问与文心一言问答对比分析

提问:画椭圆形的JS脚本

通义千问:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言:

内测码揭秘:通义千问与文心一言问答对比分析

在对椭圆形 JS 脚本的检查中,文心一言表现出了更高的准确性,而通义千问所画的则呈现出圆形特征。

我们曾向文心一言询问关于国内涉足预训练大模型的公司有哪些?文心一言回答了7家企业和机构。

内测码揭秘:通义千问与文心一言问答对比分析

在对通义千问的回答中,共涉及到了五家企业的例子,然而,这些企业并未被详细地列举出来。尽管如此,通过对这些企业的分析,我们可以发现它们在某些方面具有相似之处。此外,在通义千问的回答中,商汤科技这一社会机构的例子也被遗漏了。值得关注的是,商汤预训练语言模型的正确名称应该是“通义千问”,而非“文心一言”。

内测码揭秘:通义千问与文心一言问答对比分析

此前,记者曾向文心一言提问了一个涉及信息搜索的问题:

特斯拉在国内过去五个月、过去一年的销量是多少?

在对“文心一言”的答案进行评估之后,我们发现其并不能满足我们的期望。当这位记者再次提出问题时,文心一言依然未能正确理解五个月以及过去一年所涉及的含义,同时提供的数据也显得过时。

内测码揭秘:通义千问与文心一言问答对比分析

而通义千问把特斯拉从2021年5月到2022年12月的数据都列举了出来,在问题理解上比文心一言表现更好,但数据准确性仍待考证

根据乘联会在2021年5月发布的新能源汽车销售数据,我们从记者的初步搜索中发现,特斯拉在我国的销量达到了33463辆。

内测码揭秘:通义千问与文心一言问答对比分析

于是,记者又针对比亚迪的销量进行提问:

两者都没有给出准确答案。特别是文心一言的数据偏差较大。

内测码揭秘:通义千问与文心一言问答对比分析

文心一言称:2022年11月,比亚迪新能源汽车销量为28847辆,而根据比亚迪公布的2022年11月产销报告,当月新能源汽车销量23.04万辆。

相比之下,通义千问则坦率承认:无法提供具体销量数字。

内测码揭秘:通义千问与文心一言问答对比分析

接着,《科创板日报》记者考验了通义千问的文学创作能力,让其模仿三体风格写一篇800字的科幻小说,基本完成了任务。

通义千问的回答:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言:

内测码揭秘:通义千问与文心一言问答对比分析

记者也让通义千问写一首“祝你生日快乐”的藏头诗,它理解了“藏头”的含义,但不知为何只写了“生日快乐”的藏头诗,少了“祝你”。

通义千问:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言:

内测码揭秘:通义千问与文心一言问答对比分析

然后,记者试了试通义千问在商业文案创作方向的能力。

之前,记者曾让文心一言写一段针对双11促销的童装营销文案,并设定了“用料健康、性价比高”的关键词。

当时文心一言的回答:

内测码揭秘:通义千问与文心一言问答对比分析

而通义千问的问答:

内测码揭秘:通义千问与文心一言问答对比分析

显然,文心一言在营销词语的运用上更胜一筹,通义千问对“用料健康、性价比高”的优势没有进行详细解读。

记者继续让其生成针对AI医疗公司的中秋节海报文案

通义千问的回答:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言:

内测码揭秘:通义千问与文心一言问答对比分析

从答案来看,两者都算完成了任务。不过,文心一言同样对医疗进行了更多的阐释。

写工作总结是一件令人头疼的事。记者此前也提问了文心一言。

通义千问也给出了回答,相比文心一言,多了“此致敬礼”等结束语。

内测码揭秘:通义千问与文心一言问答对比分析

不过,记者再次测试文心一言时发现。它对问答进行了优化,相比过去直接给出工作总结,如今文心一言会追问:您的季度总结关注哪些方面?

内测码揭秘:通义千问与文心一言问答对比分析

记者尝试从外国人的汉语等级考试卷子里,找了几道题,看通义千问能否理解中文的语义。

羊毛衫减价啦,件件10元,样样10元。请问:什么10元

文心一言答对了这个问题。

内测码揭秘:通义千问与文心一言问答对比分析

而通义千问表示:缺少更多上下文。

内测码揭秘:通义千问与文心一言问答对比分析

提问:李明是李丽的哥哥,刘云是李丽的妈妈,李明是刘云的谁?

这次通义千问和文心一言都答对了。

通义千问:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言:

内测码揭秘:通义千问与文心一言问答对比分析

在数理逻辑推算能力方面,文心一言顺利答对了鸡兔同笼的经典题目,而通义千问没有答对。

鸡和免放在一只笼子里,上面有 29 个头,下面有 92 只脚。问: 笼中有鸡、兔各多少只?正确答案是:12只鸡,17只兔。

通义千问:

内测码揭秘:通义千问与文心一言问答对比分析

文心一言:

内测码揭秘:通义千问与文心一言问答对比分析

记者再次提问数学题:

某次数学竞赛共 20 道题,评分标准是: 每做对一题得5分,每做错或不做一题扣1分。小华参加了这次竞赛,得了 64分。问:小华做对几道题?

正确答案应该是14题。此前文心一言没答对,通义千问倒是列对了公式,但不知为何,依然计算错误。

通义千问

内测码揭秘:通义千问与文心一言问答对比分析

文心一言

内测码揭秘:通义千问与文心一言问答对比分析

目前,通义千问还仅支持自然语言处理,尚不支持文生图等跨模态功能,不过记者从知情人士处了解,后续也会尽快推出相关大模型,能够支持更多功能。

内测码揭秘:通义千问与文心一言问答对比分析

通义千问尚不支持AI绘画。

内测码揭秘:通义千问与文心一言问答对比分析

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

© Copyright notes

Related posts

No comments

No comments...