GPT-4当前最大的问题是什么？
或许除了当前严重的机器幻觉问题外，限制的输入长度也是一个显著的短板。尽管在一般对话和搜索场景中，当前普通版本的GPT-4大约8000个token的上下文长度可能已较为充足，但在内容生成、智能阅读等应用时，基础版的GPT-4仍显得力不从心。
在GPT-4的发布会上提到，实际上GPT-4支持32768个token的上下文长度，只是这个功能尚未完全开放，未来会逐步进行自动更新。最近几天，32k版本的GPT-4似乎即将面世！许多GPT-4用户已经在自己的PlayGround上看到了GPT-4 32k的选项。
在API中，用户也可以通过指定GPT-4-32K模型来调用这个升级版本。
值得注意的是，这仍然是GPT-4对部分用户的内测，并且发布内测名额并不完全按照申请waitlist的时间顺序来分配。收到32k版本内测的用户是于3月16日加入waitlist的，但同一时间的其他用户却没有解锁32k版本的权限。这可能是因为获得内测版本的用户在注册时强调了对32k GPT-4的强烈兴趣。
无论如何，32k的GPT-4看起来确实离我们越来越近。那么，32k的GPT-4会带来怎样的想象力变革呢？值得注意的是，它的价格是8k版本的两倍，并且可能会伴随更慢的响应时间。
例如，在对话机器人中，当上下文长度扩展到50页时，可以显著减少由于越界8k窗口而导致的复杂嵌入问题。此外，对于论文、研究报告等大量复杂信息的提取与解读，目前需要通过结构化的方法逐步拆分资料并提取，而32k的上下文长度则可以一举解决这些麻烦。推特博主Matt Shumer所做的小测试就是一个例子，他向GPT-4 32k提供一段代码样本，仅凭几秒钟，它便完成了一整套测试用例，这一能力对工程领域而言具有颠覆性。
在OpenAI之外，还有一些开源模型推出了更大的上下文长度的大规模语言模型。例如，这个名为MPT-7B（也称作Llongboi）的模型本月5号发布，花费了20万美元进行训练，其最大亮点在于支持64k的上下文，能够满足内容生成、聊天等多种场景的需求。
更多信息可以访问以下链接：
博客地址：https://www.mosaicml.com/blog/mpt-7b
项目链接：https://github.com/mosaicml/llm-foundry
当然，开源项目的性能和稳定性可能无法与GPT-4相提并论。既然已经有用户陆续收到了32k GPT-4的邀请，相信它必将很快与我们见面。让我们共同期待它的到来，希望这能加速其进展！