财联社4月18日讯(记者 崔铭)昨日,昆仑万维(300418.SZ)正式发布大语言模型「天工」3.5,同时宣布即日起启动邀请测试。财联社记者第一时间对其进行了测评。
“天工” 3.5是由昆仑万维与奇点智源联手开发的一款具有重大意义的国产人工智能技术。昆仑万维公司自豪地宣称,这是首个真正实现智能涌现的国产大型语言模型。其已经达到了令人瞩目的成就,甚至已经非常接近 OpenAI ChatGPT 的智能水平。这意味着它已经具备了处理各种复杂任务的的能力,包括但不限于文案创作、知识问答、代码编程、逻辑推演以及数理推算等方面。因此,无论是企业还是个人用户,都可以从”天工” 3.5中受益,实现更高效、精准的工作与学习。
那么,该产品实际表现如何?让我们一探究竟。
在开始测试前,记者先请「天工」3.5做了个自我介绍。

考虑到在此之前,业内已有多家企业推出大模型,记者也顺势问了它与其他大模型相比有什么优点?
‘天工’ 3.5 的优势表现在灵活性、高效性、智能化、安全性和环保性方面。此工具具有高度实用性且可靠,可以满足各种需求,为用户带来便捷体验。

在对「天工」3.5进行初步了解之后,记者将分别从文本撰写、语义解析、逻辑推导、数学计算以及编程编码等五个维度,全面测试其各项性能表现。
首先,我们抛出了一个比较常规的写作要求:如果续写《西游记》故事,可以有哪些角度?
可以看到,「天工」3.5给出了几个写作方向,语言组织能力较为通顺,也较为符合逻辑。

随后,记者让其以“月光”为主题写一首有平仄且押韵的七言律诗,「天工」3.5在几秒钟内便完成了。

有趣的是,记者也让ChatGPT(3.5版本)写了一首,发现两首诗竟有不少重叠的部分。

在撰写任何文章时,最重要的是确保其具有实际应用价值。针对这个问题,一位专业的文章写作高手可能会提出这样的建议:为了使读者更深入地理解MMORPG游戏的特点,我们需要通过一些引人入胜的描述来吸引他们。因此,我们邀请记者朋友撰写一篇富有创意和吸引力的游戏广告文案。经过多次修改和完善,我们最终得到了这样一则文案:「天工」3.5版本迅速给出了令人满意的答案,其整体风格也符合该类游戏的特征。然而,在转折部分,我们发现其稍微有些生硬,可能需要进一步调整以使其更加流畅。

当我们向「天工」3.5提出请求,希望它能够为我们撰写一份详尽的电商运营岗位招聘文件时,它给予了我们非常细致且全面的回应。该份招聘文件不仅包含了职位名称、职位描述、任职要求、薪资待遇等关键信息,而且还提供了公司简介以及投递简历的邮箱地址。可以说,它的格式严谨、内容充实,完全符合我们的期待。


语义理解方面,「天工」3.5能准确说出成语释义。

也懂一点上海话。

记者决定加大难度,问一些“陷阱题”,看看「天工」3.5能否从容应对。
先来一个脑筋急转弯,提问:小明的爸爸有三个儿子,大儿子叫大毛,二儿子叫二毛,三儿子叫什么名字?
「天工」3.5一次就答对了。

同样的问题,我们向ChatGPT(3.5版本)提出,虽然它给出的答案是正确的,但它却多问了一句:“所以,小明的名字究竟是什么?”这不禁让我们对这个人工智能助手产生了更多的好奇心。

再来一道灯谜题,提问:说它是头牛,不会拉犁头,说它力气小,背着屋子走。(打一个动物)
「天工」3.5又一次答对了。

而ChatGPT(3.5版本)并没有答对。

面对“蒸包子”问题,「天工」3.5也回答的头头是道,颇为“理性”。

ChatGPT(3.5版本)则给出了略微不同的回答。

接着,记者希望能考一下它的数学能力。
一道经典的数学谜题是“鸡兔同笼”,其情景为:在一个笼子里,若干只鸡和兔共同生活,已知该笼共有9个头和30只脚。现在我们需要求解在这个笼子里,到底有多少只鸡和兔子。
这次「天工」3.5列出了正确的方程式,却得出了错误的答案。

在被指出这一问题后,「天工」3.5 “虚心认错”并重新计算了一遍,但还是没有得出正确的答案。

在我们对同一问题进行询问时,ChatGPT(3.5版本)表现出了令人失望的错误。尽管它正确地列出了方程式的形式,但在计算过程中出现了问题,最终未能给出正确的答案。

记者又问了一道奥数题:已知父亲今年32岁,儿子今年5岁,请问几年后父亲的年龄正好是儿子的年龄的4倍?
这次「天工」3.5没有答出。

同样的问题,ChatGPT(3.5版本)算出了正确答案。

记者还尝试使用「天工」3.5写代码,提问:用Scala实现并查集,在得到回答后,又再次提问:用Java再写一遍。
随后记者拿给程序员朋友检查,对方称结果是对的,还表示这一问题相对基础,写代码能力如何还要视具体需求,若能进行多轮对话联系上下文修改,会是个辅助业务的“好帮手”。

最后,以一个哲学问题结尾。
记者问了著名的“电车难题”,「天工」3.5指出这是一个伦理困境的问题,并给出了一个辩证的答复。

从记者体验来看,「天工」3.5已经能够较为准确、完整、流畅地回答问题,较少出现“答非所问”的情况。在跟ChatGPT(3.5版本)对比使用过程中,二者的文本写作能力接近,在一些与数理相关问题上,还有优化的空间。
昆仑万维CEO方汉在昨日发布会上透露,「天工」3.5累计投入数亿元,由数百人研发团队历时3年时间打造。目前最高已能支持1万字以上文本对话,实现20轮次以上用户交互,在多类问答场景中都能实现较高的输出水平及较强记忆能力。
据悉,未来昆仑万维「天工」大模型在数理、逻辑推理等方面也将不断迭代优化,随着产品技术成熟,将根据监管和合规要求逐步启动开源,「天工」4和「天工」5也在推进计划中。
(编辑 刘琰)
天工, 3.5, 昆仑万维, 奇点智源

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!