张俊林老师对GPT-4模型开创新研究方向的探讨
引言
在这个历史性的时刻，我想对一个问题作出回答，以留下自己作为时代见证者的足迹。GPT-4的问世确实开创了几个新的研究方向，技术报告中对此做出了明确阐述。
方向1：LLM研究的封闭化
首先，LLM前沿研究正逐渐走向封闭化或小圈子化。技术报告明确指出，出于竞争及安全考虑，OpenAI未公布模型规模等技术细节。从GPT-2的全面开源，到GPT-3的仅有论文，再到ChatGPT连论文都未发布，以及GPT-4的技术报告更像是一种效果评估报告，这一趋势表明OpenAI已实质化了“CloseAI”的名号。在这种背景下，其他技术相对领先的公司面临两种选择。
一种选择是更加极致地开源LLM，例如Meta似乎走上了这条道路。这通常是竞争处于劣势的公司所采取的合理选择，但相关技术往往不会是最前沿的。另一种选择是跟进OpenAI，采取技术封闭化的策略。Google之前算是LLM的第二梯队，但在“微软与OpenAI”的组合攻势下，目前局势显得有些狼狈。自GPT-4于去年8月完成后，GPT-5的研发也在进行，而Google在这段时间内却依然没有取得显著进展，令人不禁想问其高层会有何感想。尽管Google有望迅速跟进并维持在第二梯队，但出于竞争考虑，它可能会选择封闭技术，优先将最先进的LLM技术应用于自身而非公布给大众。这种现象可能导致LLM前沿研究的进一步封闭。
根据现在的情形来看，国内在经历一段时间的调整后，必然面临自主创新的压力。尽管当前情况看似不乐观，但唯有迎难而上，祝愿有能力且秉持初心的人士能够不断努力。
方向2：能力预测
第二，GPT-4技术报告提到的“能力预测”（Capability Prediction）是一个非常有价值的新研究方向。通过小型模型来预测特定参数组合下的大模型能力，如果预测足够精确，将显著缩短模型训练周期，并减少试错成本，因此这一方向无论在理论还是实际应用上都具有重要意义，非常值得深入研究。
方向3：LLM评测框架
第三，GPT-4开源了一个LLM评测框架，这也是LLM技术快速发展的重要方向。尤其对于中文模型，构建实用的评测数据和框架显得尤为重要。有效的评测数据可以迅速揭示LLM当前的短板和改进方向，具有重要意义。然而，目前这一领域的研究仍然相对空白，相关资源的要求并不高，适合多方机构开展，但要实现并非易事。
其他方向1：低成本复现ChatGPT
除了以上三个方向外，最近LLM领域有大量新进展，值得关注的还有“低成本复现ChatGPT”这一技术方向。斯坦福大学最近在Meta的7B开源LLaMA基础上，通过Self Instruct技术构造了Alpaca。Self Instruct技术通过从OpenAI接口获取数据，无需人工标注，从而极大地降低了指令标注成本。对比而言，利用ChatGPT作为教师模型来进行指令标注，可以将成本降低至几百美金。随着模型参数的减小，这一技术路线成为了低成本复现ChatGPT的有效途径。
国内很可能也会有不少研究者采用这种技术路线。在此过程中，虽有其优势，但也需注意其中的潜在问题。追求模型的小型化与效能之间的平衡，若能扎实推进，将会带来显著的价值。
其他方向2：具身智能
具身智能无疑将成为LLM下一阶段的重点研究方向。Google目前推出的PaLM-E便是这一领域的代表。当前的GPT-4可以被看作是一个超级大脑，但仍旧被局限在GPU集群中。为让GPT-4与物理世界进行互动，需要让其获得真实反馈，通过强化学习等方式来提升在真实世界中的生存能力。这无疑是未来LLM研究一个极具潜力的方向。
总结
多模态LLM赋予了GPT-4视觉与听觉，而具身智能则为其赋予身体与运动能力。在这个背景下，GPT-4与人类的联系将愈加紧密，结合其强大的学习能力，这一趋势很可能很快会显现于我们的生活中。
深思之下，还有许多其他富有潜力的研究方向。我的个人判断是，未来5到10年将成为AGI快速发展的黄金十年。如果我们在未来30年回顾这段时间，一定会有不少人想起：“懂得，但为时已晚，他们使太阳在途中悲伤，也并不温和地走进那个良夜。”