关于ChatGPT变懒的新解释

最近，推特用户Dylan Patel发文指出了ChatGPT在过去六个月表现下降的可能原因。他表示，ChatGPT的系统Prompt竟然包含了1700个tokens，其中夹杂了不少冗余信息，这可能是导致其变懒的部分原因。

Dylan Patel通过一段特定的输入，将ChatGPT 4版本的系统Prompt“揭示”了出来：

他发出的完整视频显示了这一系统Prompt的内容，用户可以通过以下链接查看：
https://pastebin.com/vnxJ7kQk

另外，一些用户对ChatGPT 3.5版本进行了类似的尝试，结果也成功“召唤”出了相似的系统Prompt。

例如，系统Prompt中对DALL·E的生成限制有以下几点：

• 每当提供图像描述时，请创建可用于生成图像的提示，并遵循以下策略：提示必须使用英文。如有需要，请翻译成英文。
• 请勿请求生成图像的许可，直接执行即可！
• 请勿在生成图像之前或之后列出或参考描述。
• 即使用户请求更多图像，也不要生成超过一个图像。
• 请勿创建政客或其他公众人物的形象，可以推荐其他想法。
• 请勿以1912年之后的艺术家、创意专业人士或工作室的风格创作图像（例如毕加索、卡罗）。
• 仅当艺术家、创意专业人士或工作室的最新作品创作于1912年之前（如梵高、戈雅）时，才可在提示中提及他们的名字。

关于生成公众人物的这一限制，我亲自做了一个实验，结果与描述一致。

不少用户也表示，原来Prompt的设置真的会让ChatGPT变得懒惰，这种感觉成为了大家讨论的重点。

OpenAI宣称懒惰行为已修复
不久前，OpenAI将GPT-4 Turbo的预览模型更新为gpt-4-0125-preview，新模型修复了影响非英语UTF-8生成的错误。更重要的是，OpenAI声称新模型相比之前的预览模型在完成代码生成等任务上更为出色，这将减少模型未完成任务的“懒惰”情况！

要知道，前段时间，GPT-4的表现不佳引发了大批用户的吐槽，OpenAI官方也对此进行了认可。有网友猜测，GPT-4可能因季节变化而“放假”，冬天特定的使用习惯导致其变得懒惰。

加州大学圣克鲁斯分校研究者在一篇论文中提到的发现或许能解释GPT-4性能下降的深层原因。他们指出：“我们发现，在训练数据创建日期之前发布的数据集上，LLM的表现出奇地好于之后发布的数据集。”这些模型在“见过的”任务上表现优异，而在新任务上却显得较为糟糕，这说明LLM主要依靠记忆而非真正理解。

换言之，LLM的泛化能力并没有得到广泛认同，其性能下降的一个主要原因是“任务污染”，这是数据污染的一种形式。

为了应对GPT-4的懒惰表现，众多网友纷纷尝试使用魔法Prompt，期待能提升其效率。

最后，大家希望ChatGPT能够越来越好，成为更好用的工具！