《ChatGPT聊天机器人的accuracy问题及影响》

96 0 0

文章主题：IT 之家, 美国普渡大学, OpenAI, ChatGPT

根据 IT 之家 8 月 8日的报道，一项由美国普渡大学开展的研究发现，OpenAI 所研发的人工智能助手 ChatGPT 在解答软件编程相关的问题时，其错误率高达50%以上。然而，令人意外的是，仍有近三分之一的提问者能够成功地欺骗这款人工智能助手。

该研究团队分析了 ChatGPT 对 517 个 Stack Overflow 网站上的问题的回答，评估了其正确性、一致性、全面性和简洁性。他们还对回答进行了语言和情感分析，并对 12 名志愿参与者进行了问卷调查。研究报告的结论是：ChatGPT 的回答虽然语言风格良好，但 52% 的回答是错误的，77% 是冗长的。参与者只有在回答中的错误很明显时，才能识别出来。否则，他们会被 ChatGPT 的友好、权威和细致的语言风格所误导。

Stack Overflow，作为一家专注于程序员问答的专业平台，一直以来都是开发者获取编程技巧和解决各类问题的主要渠道。然而，近年来，该网站却遭遇了一系列挑战，包括流量减少、内容品质降低以及用户信任度下降等。根据SimilarWeb在2023年4月发布的报告，自2022年1月以来，Stack Overflow的月流量减少了6%，而在3月份更是下滑至13.9%。有关人士猜测，ChatGPT的崛起或许正是这一现象背后的推手。针对此种说法，Stack Overflow予以否认，并声称其流量下滑主要是由于搜索算法调整以及ChatGPT兴趣度的提升所导致。

OpenAI在其ChatGPT网站上明确指出，其软件可能会生成关于人物、地点或事实的不准确信息。据IT之家报道，截至本文撰写之时，该公司尚未就普渡大学的研究发表任何回应。

IT 之家, 美国普渡大学, OpenAI, ChatGPT