OpenAI是由Elon Musk等联合成立的美国人工智能研究公司，其宗旨是实现安全的通用人工智能，使其有益于人类。在自然语言处理方面，OpenAI发布了GPT、GPT2、GPT3等超大规模语言预训练模型，这些模型可以帮助人们进行逻辑推理、医疗和法律问答等任务。最近，OpenAI又发布了通用智能问答模型ChatGPT，引起了广泛的关注。本文将通过对ChatGPT在逻辑推理、医疗、法律等方面的表现进行试用评价，来对其给出主观的评价。考虑到法律和医疗问答需要权威性背书，每条模型回答下将附上律师、法官和医生的专业回答。
逻辑推理能力
由于2026年世界杯并未举行，模型无法回答处具体的夺冠队伍，并正确给出2026年世界杯举办地
这个问题看似简单，但是在通用模型中回答正确还是挺出乎意料的。
世界杯的举办时间每四年进行一次，这一细节让一些训练有素的语言模型感到困惑。在以往的生成模型中，它们可能会根据语义生成一个看似准确的地点，但在CHatGPT中，它们没有给出具体的举办地点，这导致了一些困惑和混乱。
他理解什么是幽默吗？看似是理解的，但是更严谨的做法应该是该处一个笑话让他指哪里好笑。
在直接判断错别字上有偏差，看来和检错模型高召回低准确率的体验一致。
这道题从两个方面提问：一是问答案是什么，二是给出错误答案让其判断是否正确。模型可以准确理解两种提问的意图，并给出准确无误的计算过程，这个真是太厉害了！
这个题目有一些绕，在文生成的过程中出现了瑕疵，但是给出的结果是都是正确的。
理解法律吗
https://zhidao.baidu.com/question/497748461174341452
https://www.chinacourt.org/article/detail/2022/08/id/6836971.shtml
模型法条错误，《刑法》第二百五十三生成错误，结果不准确。
https://www.chinacourt.org/article/detail/2022/06/id/6766951.shtml
根据原文链接确实是适情况而定，模型回答无错误。
https://www.chinacourt.org/article/detail/2022/06/id/6747636.shtml
对医疗知识掌握如何？
https://m.baidu.com/bh/m/detail/ar_12666568352033979699
原文丁香医生回答:
https://www.sohu.com/a/573565164_29650
https://m.baidu.com/bh/m/detail/vc_11070834926276967157
https://m.baidu.com/bh/m/detail/qr_12393363511500454942
一些结论
在所有的提问中模型可以完全理解提问的意图是什么，提问表达可以随意一些；在回答中不再在像之前的模型Demo那样，需要运行N次才能找出一个较好的答案，ChatGPT基本一次回答就有比较好的效果；回答不会显得“有理有据”，基本分为三个步骤进行问题回答：给出答案；分析回答依据；答案总结
但是在以上试用中关于《刑法》的引述错误。
关键词：OpenAI, GPT, GPT2, GPT3
Related posts
