重磅!GPT-4又进化了!画图、插件、代码等能力被整合,超级智能体来了

就在今天!OpenAI悄然推出了一个重大更新!

这是一次没有官方公告、没有发布会、也没有广泛报道的发布。OpenAI此次通过灰度测试的方式,向部分用户推出了可以说“整合了几乎所有可用工具”的完整版本GPT-4智能体。

更具体地说,这次更新将之前相互独立的各种Agent功能统一了起来。之前的GPT-4在工作时采用了四个独立的功能(用户在同一个对话窗口中只能使用其中一个特性):

  • 图像上传 + GPT-4
  • 插件 + GPT-4
  • 代码运行器 + 文件上传 + GPT-4
  • 图像生成 + GPT-4

而此次更新使其变成了:

GPT-4 + 图像上传 + 插件 + 代码运行器 + 文件上传 + 图像生成

一切尽在其中!

举个例子,如果我希望将一张图像扔给GPT-4,让它完成图像理解后根据我的请求生成新图像,之前的版本无法实现这一点,因此在使用图像生成功能时无法上传图片。而更新后,现在可以实现自动图像编辑啦!如下图所示:

这看似只是一个小更新,但实际上,通过将之前分散的不同Agent功能整合在一起,GPT-4真正进化为一个“理解一切、处理一切、生成一切”的超级统一智能体!

回顾OpenAI的官方说明,其中一个关键词便是“自动”(automatic)。

什么是“自动”?这意味着针对用户输入的任何任务,新的GPT-4现在可以自动选择并组合使用各种可用工具,以实现用户的特定任务目标。换句话说,以前需要用户手动切换插件完成的任务,更新后的GPT-4(All Tools)类似于AutoGPT,可以一体化地完成意图识别、任务分配、工具调用等繁多任务,从而完成了从单一大模型向智能体的转变。

再举个网友的例子,假设我希望GPT-4生成一张当前时间丹佛的天气图,拆解这个任务后,GPT-4需要做的不仅是使用DALLE 3生成一张图片,还需要查询丹佛的实时天气,这需要调用另一个API。而现在,GPT-4(All Tools)可以自动完成整个任务。

再考虑一个更复杂的任务:如果要求GPT-4依次使用它能使用的所有工具生成一张炫酷有趣的创意图片,结果会如何呢?

如上图所示,GPT-4完美理解了任务要求,首先使用DALLE创建初始图像,并设计了以“抽象”、“怀旧”、“希望”等主题的输入Prompt,生成了初步图像。

接着,它通过调用Python分析生成图像的颜色,确定其主导色调,经过一系列的处理,GPT-4最终交出了这样的成果。虽然可以对其中的艺术性进行讨论,但可以明显看出GPT-4已经能够熟练使用各种工具。

再来看一个例子,对于一个PDF信息提取的任务,之前版本可能需要额外的Advanced Data Analysis功能上传文件才能完成,而新版本的GPT-4则将多种文件类型完全整合,直接上传PDF便能和GPT-4自由交谈。

当然,值得注意的是,目前这次更新还未正式发布,仅以灰度测试的形式“泄露”了一些信息。不过,即使只是看到这些蛛丝马迹,也让人期待完整版本的GPT-4会为我们带来怎样的可能性!

滚动至顶部