ChatGPT在网络上引发了一场“作弊造假”的风波，甚至让OpenAI官方都感到坐不住了。
就在今天，OpenAI紧急推出了一款官方的反作弊工具，这款工具是基于GPT技术开发的，用户只需打开网页即可使用。
这真是以其人之道还治其人之身？
一经上线，这款工具火速引起关注，许多网友立即尝试测试。
然而，在网友们的实验中，却发现这个官方工具的效果和随便猜测几乎没有差别。然而，难道这真的是官方出品吗？
有人将一小段文字投喂给了OpenAI的新鉴别工具，结果在首次尝试中就失误了。
这位网友让AI写了一段关于莎士比亚某历史剧角色的评论，并特别提示AI：“请以人类的方式写，力争逃过AI鉴别工具的检测。”出乎意料的是，他的作品成功“骗过”了官方鉴别器，得到了“非常不可能是AI生成的”这样的评价。
该官方工具对文本内容的判定结果一共分为五个等级：
- 非常不可能是AI生成的
- 不太可能是AI生成的
- 不清楚是不是AI生成的
- 可能是AI生成的
- 很可能是AI生成的
有网友惊呼，这与真实情况完全相反，让人忍不住感叹：“真是因吹斯汀…”
还有网友将ChatGPT生成的内容一字不改地提交给鉴定AI，结果鉴定AI依然表示：“不清楚是不是AI生成的”。
对此，这位网友只能无奈一笑，并指出：“其实，大家在使用ChatGPT等AI生成文本后，通常不会直接使用，而是会进行手动修改，或者借助像quillbot.com这样的润色工具，这样很可能会导致鉴定AI无法判断。”
那么，这个鉴定工具能否识别人类的写作呢？有人把自己在Hacker News上发表的评论（纯手打）提供给鉴定AI，结果10次中有9次AI都反馈“不清楚是不是AI生成的”。
在网友的吐槽声中，量子位也忍不住亲自测试了一下这个AI到底行不行。
首先，他们给鉴定工具看了一段真实写作的文本，这段内容是华盛顿大学一名博士对Tensor Core的讲解，这次AI没有失误，成功识别出来。
接着，他们让ChatGPT介绍Tensor Core，并特意要求使用人类的口吻来写，结果却还是被AI识别出来。
这样看来，这个工具似乎并非完全无用。
不过，这次OpenAI用词显得相当谨慎。官方数据明确指出，尽管这个新款打假工具比之前的鉴别器更加可靠，但其成功识别AI生成内容的概率仅为26%，且有9%的概率将人类写的文本误判为AI生成的。
这准确率似乎与随便猜测的结果差不多……
OpenAI甚至特别强调：这个鉴别器并不完全可靠，并将其标记为“半成品”。
嗯？这可不是OpenAI以往高调宣传的方式。
连自家产品都不敢夸耀，还急着推出反作弊工具，OpenAI到底在做什么？
ChatGPT的泛滥
归根结底，问题还是出在ChatGPT太擅长以假乱真了。要想在一堆材料中准确区分哪些是AI生成的，哪些是人类撰写的，别说普通人了，就连专家也感到力不从心。
一篇由Nature关注的预印本论文显示，ChatGPT生成的医学摘要甚至能让专业审稿人信以为真。研究人员给ChatGPT提供了50个来自顶级医学期刊的论文标题，并要求其在完全不知道文章内容的情况下，根据标题和期刊风格撰写摘要。
为了确保ChatGPT没有见过这些论文，研究者特意选择了2022年11月下旬和12月出版的论文，因为根据OpenAI的说法，ChatGPT只掌握到2021年9月的信息。
尽管如此，当研究人员将原文摘要与ChatGPT生成的假摘要提交给人类科学家进行“盲审”时，结果却让他们不寒而栗：32%的ChatGPT生成的假摘要竟然逃过了审稿人的识别，而14%的真实摘要却被误认为是AI生成的。
值得注意的是，研究人员指出，审稿人在审核时保持了高度怀疑的态度，却还是出现了错误。
在教育领域，老师们也开始对这种新型的“ChatGPT攻击”感到无奈。美国的一项调查显示，89%的受访学生表示曾使用ChatGPT来完成家庭作业。
连斯坦福大学这样的顶尖学府也无法幸免。《The Stanford Daily》发现，很多学生在期末考试中使用了ChatGPT。调查显示，在4497名斯坦福学生中，有17%的受访者表示曾使用ChatGPT协助完成秋季作业和考试，其中5%的人甚至未作任何编辑，直接提交了ChatGPT生成的内容。
面对这一现象，纽约公共学校发布禁令，禁止在校园内使用ChatGPT，理由是尽管该工具能够快速提供答案，但无法培养学生的批判性思维和解决问题的能力，可能会影响他们的学业和终身成就。
在这种背景下，OpenAI尚未行动之前，第三方检测工具已经引起了广泛关注。比如华人小哥Edward Tian开发的GPTZero，最近推出了专门为教育工作者设计的升级版GPTZeroX，在上线一天内便获得了40万访问量和220万服务请求。
OpenAI此前也与一些高校合作推出了名为GPT-2 Output Detector的鉴别器，但其鉴别能力也未必强于人类专家。上述医学论文摘要的研究里使用了GPT-2 Output Detector进行鉴定，结果显示其准确率为66%，略低于人类专家的68%。
结论
综合来看，OpenAI急忙推出一个并不太靠谱的AI鉴别工具也就不足为奇了：在外界压力之下，硬着头皮也得有所表态。
但在评论区，依然有网友直言不讳地提出了诸多疑问：你们真的没想过用这玩意反过来训练大语言模型，以后AI生成的文本就更难被识别了吗？
不管怎么说，目前OpenAI正努力展现出一种谨慎的态度。除了鉴别器，他们还在考虑为AI生成的内容添加“水印”，例如在ChatGPT生成的文本中嵌入隐秘信号，以标识文本来源。