上周，OpenAI 的 CEO Sam Altman 和 AI 开发平台 HumanLoop 的创始人 Raza Habib，以及其他20多位开发者召开了一次闭门讨论会，深入探讨了 OpenAI 的使命、人工智能的影响以及开发过程中的一些实际问题。
会后，Raza Habib 整理了详细的会议要点，其中提到 OpenAI 接下来的一些重要工作安排和时间节点。以下是要点，供大家参考。
重点摘要：
- GPU 资源紧缺：OpenAI 目前面临着严重的 GPU 资源短缺，这一瓶颈限制了 ChatGPT 在技术上的突破。
- 降低 GPT-4 成本：优化 GPT-4 的成本和效率是 OpenAI 现在的首要任务。
- 扩展输入限制：ChatGPT 很快将支持更多文本输入，最高可达 100 万个 tokens。
- 多模态功能公布时间：GPT-4 的多模态功能（如视觉识别）预计在2024年才会向公众开放。
- 考虑开源 GPT-3：OpenAI 正在审视将 GPT-3 开源的可能性。
Raza Habib 的详细记录：
在与 Sam Altman 及其他开发者的交流中，我们讨论了 OpenAI 的 API 和产品计划。Sam 对话题非常开放，讨论内容涵盖了开发者们实际遇到的问题，以及与 OpenAI 的使命和人工智能对社会影响相关的重大问题。以下是关键要点：
- GPU 资源依赖性：在讨论中，OpenAI 当前对 GPU 的高度依赖成为反复提及的主题，这导致了许多短期计划的延迟。用户对于 API 的可靠性和速度有较多投诉，而 Sam 承认大部分问题源于 GPU 资源的不足。 目前，ChatGPT 支持的 32k tokens 上下文功能尚未广泛推广，虽然 OpenAI 计划将上下文窗口扩展到 100k 到 1M tokens（预计在今年内），但仍需克服一些技术障碍。 微调 API 也受到 GPU 资源的限制，OpenAI 尚未采用如 Adapters 或 LoRa 这样更高效的微调方法，导致其微调和管理相对耗费计算资源。未来，OpenAI 可能会推出更好的微调方式，并考虑建立一个社区贡献模型的市场。 针对私有需求的客户，OpenAI 提供专用容量服务，客户需要预支 10 万美元以获取此权限。
- OpenAI 短期路线图：Sam 分享了 OpenAI API 的短期目标：
- 更便宜、更快的 GPT-4——当前的首要任务，OpenAI 的目标是降低智能成本，从而继续降低 API 的使用成本。
- 更长的上下文窗口——预计不久后能够支持最高 100 万个 tokens 的上下文窗口。
- 微调 API——将扩展至最新的模型，具体形式取决于开发者的实际需求。
- 有状态 API——未来版本的 API 将能够记住对话历史，减少用户重复传递相同信息的负担。
- 插件功能未必立刻推出：许多开发者希望可以通过 API 访问 ChatGPT 插件，但 Sam 表示短期内这些插件不会发布，除浏览器功能外，其他插件使用情况显示其尚未达到产品市场契合度（PMF）。 他指出，虽然很多人希望自己的应用程序能整合 ChatGPT，但实际上他们更想要的是应用程序内部嵌入 ChatGPT 功能。
- 避免与客户竞争：许多开发者对使用 OpenAI API 表达了对与其可能竞争产品的担忧。Sam 强调，OpenAI 不会发布与 ChatGPT 直接竞争的产品。 随着平台的发展，ChatGPT 将为 OpenAI 带来更多 API 的使用机会，它的愿景是成为用户工作的智能助手，而不会涉及其它 GPT 的用例。
- 监管与开源的重要性：Sam 强调了对 AI 未来进行监管的必要性，同时不认为现有模型存在危险。他重申开源的重要性，并透露 OpenAI 正在考虑将 GPT-3 开源。 目前尚未开源，原因在于认为大多数公司和个人都难以合理管理如此庞大的语言模型。
- 模型规模与性能定律仍然有效：尽管近期有许多文章宣称「巨型人工智能模型的时代已经结束」，Sam 提出这个观点并不成立。OpenAI 的数据表明，模型性能与规模之间的比例定律依然有效，增大模型的规模将提升其性能。 需要注意的是， OpenAI 在过去几年内的快速扩展速度不可能持续，因此未来每年的扩展可能只会是一到两倍，而非数量级的增长。 扩大模型规模对开发 AGI 的时间表有重大影响，这一理念意味着我们可能已经完成了构建 AGI 所需的大部分工作，未来的工作将集中在扩展现有模型和数据集上。
如果规模扩张的时代真的结束，那么我们应当预期 AGI 的实现会更加遥远。而比例定律仍然有效，则暗示我们会在更短的时间内实现 AGI。