《人工智能聊天机器人ChatGPT在软件编程问题回答中的误识率和误导性》

据IT之家8月8日的报道，一项由美国普渡大学开展的研究发现，OpenAI开发的人工智能助手ChatGPT在解答软件编程相关的问题时，其错误率高达50%以上。尽管如此，仍有近三分之一的提问者能够被其欺骗。

打开凤凰新闻，查看更多高清图片

在一项深入的研究中，研究团队对ChatGPT在Stack Overflow网站517个问题上的回答进行了深入的分析。他们的评估涵盖了回答的正确性、一致性、全面性和简洁性等多个维度。为了更全面地了解ChatGPT的回答特性，他们还对其语言和情感进行了细腻的分析。同时，研究团队还针对12名志愿者进行了问卷调查，以收集他们对ChatGPT回答的看法和反馈。根据研究结果，尽管ChatGPT的语言风格令人印象深刻，但其回答在准确性和深度上仍有待提高。具体来说，ChatGPT有52%的回答是错误的，而且77%的回答过于冗长。这表明，只有当回答中的错误非常明显时，参与者才能够分辨出ChatGPT的回答存在问题。否则，他们可能会被ChatGPT友好的语言风格、权威的态度和细致的思维方式所蒙蔽。

Stack Overflow，作为一家专注于程序员问答的专业平台，一直以来都是开发者获取编程技巧和解决各类问题的主要渠道。然而，近年来，该网站却遭遇了一系列挑战，包括流量减少、内容品质下滑以及用户信任度降低等。根据SimilarWeb在2023年4月发布的报告，自2022年1月以来，Stack Overflow的月流量减少了6%，而在3月份更是下降了13.9%。有关人士猜测，ChatGPT的崛起或许正是这一现象背后的推手。针对此种说法，Stack Overflow予以否认，并声称其流量减少是由于搜索算法调整以及ChatGPT兴趣度的提升所导致的。

OpenAI在其ChatGPT网站上明确指出，其软件可能会生成关于人物、地点或事实的错误信息。据我国IT之家报道，截至本文撰写之时，该公司尚未就普渡大学的研究发表任何回应。