那一夜…
2022年11月30日，OpenAI推出了ChatGPT，给自然语言处理（NLP）领域以及各行各业带来了巨大的惊喜与震撼。
2022年12月5日，受到ChatGPT冲击的Stack Overflow宣布禁止用户在平台上发布ChatGPT生成的内容。
2022年12月8日，夜深人静，我辗转反侧，作为一名普通的NLP研究者，我深感自我怀疑，思考在ChatGPT时代我还能做些什么研究。经过反复思考，我意识到，面对ChatGPT如此强大的能力，我们亟需开发一个ChatGPT检测器，以判断某段内容是否由ChatGPT生成。
当晚，我迟迟未能入睡，第二天一大早便兴奋地与几位好友讨论这个想法。经过讨论，我们一致认为这是一个值得投入精力的有意义的项目！于是，我们在一个更大的交流群（孤勇AI研究者群，哈哈）中就此展开了热烈的讨论。当天晚上，我们决心组建一个由海内外六所高校与企业的博士生与工程师组成的8人团队，朝着一个共同目标努力：
“开发一套ChatGPT检测工具，并收集第一手宝贵的人类与ChatGPT对比数据集，以助力相关的学术研究。”
这一切发生在2022年12月9日，正值ChatGPT推出的第10天。我们这一帮普通的AI孤勇者，就这样开启了充满未知与挑战的旅程。
在我们立项后，业界也有不少大佬提出了类似的想法。例如，一流科技创始人袁进辉在12月11日提到：“一个迫在眉睫的研究问题是，如何区分真实由人类生成的文本与ChatGPT生成的文本？”
此外，12月21日，清华大学开始招募志愿者以收集ChatGPT的中文数据。与此同时，根据近期的新闻，普林斯顿大学也有团队在进行类似的研究，并在1月3日推出了一个demo（即近来备受关注的GPTZero）。相比之下，我们可能是最早开始这一研究领域的团队，但我们一直低调忙碌地进行数据收集、分析和模型训练……（实际上，我们应该向普林斯顿大学的团队学习，不论做了多少，首先放出一个Demo……唉，年轻真好！）虽然风头被抢了，但我们团队的出发点从未是为了蹭热度，而是希望为社区贡献一些真正有价值的成果。ChatGPT检测器只是我们计划中的一部分，我们的目标包括：
- 收集一批有价值的人类与ChatGPT对比的中英双语问答语料，这对我们研究人类与大型语言模型（LLM）至关重要，能够帮助我们了解LLM的特点、与人类之间的差距以及未来改进的方向。
- 对大量的人机对比语料进行细致分析，并开展多方面的人工评测，探究人类与ChatGPT之间潜在的有趣模式。这些探索将助力思考LLM未来的发展方向。
- 基于对比数据集及语料分析，开发应对不同场景的一系列检测模型，以帮助普通用户和UGC平台识别和监管AI生成内容（AIGC）。
项目进展汇报
今天距离我们立项已过去约一个月。在这一个月中，我们的私有仓库进行了166次提交，团队成员几乎每天都在努力工作。
目前，我们已收集了中英文3-4万个问题和近10万条人类与ChatGPT对比的回答，涵盖开放域、计算机科学、金融、医疗、法律、心理等多个领域。这些数据反映了人类专家与ChatGPT在面对同一问题时的不同回答；我们对这一对比语料进行了深入特征分析，发现了许多有趣的结论，并正在进行相关的人工评测。基于这些数据和分析，我们开发了三种不同算法、针对不同场景的ChatGPT检测模型（均支持中文和英文，现已上线? Hugging Face Spaces）：
- 问答版：输入问题和回答，使用预训练模型分类器判断回答内容是ChatGPT生成还是人类撰写。
访问链接 - 单文本版：判断任意文本是ChatGPT生成还是人类撰写，技术与问答版相同。
访问链接 - 语言学特征版：基于计算语言学特征，使用机器学习建模进行检测。
访问链接
我们近期的计划如下：
| 事件 | 日期 |
|---|---|
| 项目启动 | 2022-12-09 ✅ |
| 对比数据收集 | 2022-12-11至今 ?♀️ |
| 检测器Demo发布 | 2023-01-11 ✅ |
| 模型开源 | 一周内发布 ? |
| 语料集开源 | 一周内发布 ? |
| 研究论文发布 | 一周内发布 ? |
欢迎大家关注我们的项目主页：GitHub项目主页。我们计划在一周内开源代码、模型和语料集，也希望能够得到大家的宝贵反馈！
ChatGPT检测器展示
接下来，我们将使用我们的检测器对多个平台的内容和ChatGPT的生成内容进行检测，包括英文的：
- Wikipedia概念解释
- Quora开放问答
中文内容：
- 百度百科概念解释
- 知乎开放问答
由于GPT系列模型在Wikipedia语料上进行了充分的训练，导致其生成的文本常与Wikipedia风格相似，因此Wikipedia语料对检测器的能力提出了较高的挑战。我们随机选取一个概念，分别检测人类专家的解释和ChatGPT的解释：
（包括相关的检测结果图片）
我们在Quora和百度百科上也进行了相应的检测，结果令人满意。
在知乎上，我们选择了问题“如何评价OpenAI的超级对话模型ChatGPT”，测试了周博磊老师的回答和ChatGPT自身的回答：
（包括相关的检测结果图片）
最后，再次邀请大家关注我们的GitHub项目：GitHub项目主页。我们真诚希望广大朋友参与我们的检测器体验，并提供预测错误的案例，给我们带来更多反馈！我们的开源代码、模型和语料集将与研究论文一同在近期公布，届时我们期待与大家进一步交流。鉴于OpenAI的“封闭”政策以及AIGC对学术界及社会潜在风险的影响，我们希望与更多志同道合的朋友一起为开放的学术研究贡献力量！❤️❤️