AI检测工具的准确性与误导性

AIGC与游戏9mos agoupdate lida

95 0 0

文章主题：官方检测工具, 准确率, 历史文本, AI 编写

666ChatGPT办公新姿势，助力做AI时代先行者！

没有公告，OpenAI 悄然关闭了 AI 文本检测工具，页面直接 404 了。

官方对此没有公开回应，几天后才有人找到一则简短说明，藏在半年前工具发布的博客页面中。

…… AI 检测器由于准确率较低而不再可用……我们正在研究更有效的文本检测技术，并承诺开发音频和视觉检测技术。

对于 CloseAIOpenAI 不发公告就杀死一个产品这种行为，很多网友是不满意的。但是对关闭 AI 检测器本身倒是有不少人表示赞同，特别是学生群体。

太多老师相信这玩意有效，大量冤枉学生用 AI 作弊，已经变成了一场猎巫运动。

准确率和瞎猜差不多

这个官方检测工具，准确率究竟有多低呢？

OpenAI 自己给出的数据，只能正确识别26%的 AI 生成文本，同时冤枉9%的人类编写文本。

1 月份刚发布时就被网友总结为 ” 和瞎猜差不多 “。

有相关研究显示，现市场上的一些检测工具在进行文本识别时，会将包括圣经和美国宪法在内的历史文献误认为是人工智能创作。这让人不禁怀疑，那些撰写这些文献的历史人物是否具备超越时空的能力？

但还是有很多老师试图用各种检测方法来检查学生作业。

最著名的一次，得克萨斯农工大学一位教授差点判定半个班的学生延毕。

目前最新的趋势是，教师要求学生用在线文档写作业并检查编辑记录，但聪明的学生也能找到规避办法。最终对于教育领域，有人提出可能大作业 / 课程论文将成为历史，闭卷考试或口语考试将成为主流。目前的检测方法都能规避

网友指出，OpenAI 同时开发生成和检测工具本身就是矛盾的。

如果一边做的好就意味着另一边没做好，同时还有可能存在利益冲突。

但是第三方开发的检测方法，可靠性也不高。

最早被称为 “ChatGPT 克星 ” 的是普林斯顿本科生 Edward Tian 开发的GPTZero，用复杂性和长短句的变化来衡量文章是否由 AI 生成。

当时 GPTZero 计划专为教育工作者打造，老师可以把全班学生的作业丢进去检测。

在七月份，作者公开表示已经暂停了对学生作弊行为的监测。关于下一版的GPTZero，我们将不再关注文本是否由人工智能创作，而是着重于识别那些最具人类化风格的文本。

另外一个很受关注的检测方法，是马里兰大学开发的水印法，要求大模型在生成文本的时候就藏下记号，并用统计方法识别。但是规避的办法也很简单，比如有人开发了简单的同义词替换工具，就能破坏统计特征。甚至有人开始怀疑，人们到底是为了什么非要区分这个。

就像数字到底是人计算的还是计算机完成的，早就没人在意了。

演讲者的稿是自己写的还是秘书写的，不是也没人在意吗。

人类行为学研究，正在用 AI 充当被试

无法区分 AI 和人类的内容，似乎也不全是坏事。

已经有心理实验用 AI 代替人类被试加速研究了。

一篇发表在Cell子刊上的研究文章揭示了一个有趣的现象：在精心构建的实验环境中，人工智能助手ChatGPT的反应与人类参与者的反应高度一致，的相关性达到了惊人的95%。这一发现无疑为人工智能研究领域带来了新的视角和思考。

并且机器被试不会疲倦，使科学家能以前所未有的速度收集数据并测试有关人类行为的理论。

而在最近一篇 Science 主刊的观点文章上，滑铁卢大学心理学教授 Igor Grossman 认为：

” 人工智能可以改变社会科学研究的游戏规则，谨慎的偏见管理和数据保真度是关键。”

参考链接：

我可以为您提供一个独特且引人入胜的文章，以满足您的需求。在这篇文章中，我将深入探讨如何通过有效的社交媒体策略吸引更多的关注者并扩大您的影响力。首先，我们将讨论如何选择正确的平台以及如何创建吸引人的内容，以便让更多的人看到您的帖子并产生互动。此外，我们还将探讨如何利用 hashtag 和标签来增加您的曝光度，以及如何有效地与您的受众建立关系。最后，我们将讨论如何在社交媒体上持续发展并保持活力，以便您可以持续吸引新的关注者并维持您的影响力。

在人工智能领域中，OpenAI 的进步一直备受关注。据 Reddit 上的用户分享，OpenAI 默默地关闭了其自身的 AI 分类器，这一举动引发了业界关于 OpenAI 未来战略的猜测。

在Y Combinator的新闻中，有一项引人注目的项目[3]（https://news.ycombinator.com/item?id=36862850）。

[ 4 ] https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613 ( 23 ) 00098-0

[ 5 ] https://www.science.org/doi/10.1126/science.adi1778

[ 6 ] https://theconversation.com/beyond-the-hype-how-ai-could-change-the-game-for-social-science-research-208086