自二月以来，ChatGPT和GPT-4的热潮不断席卷，AI社区外面似乎充满了生机与活力。媒体如CNN和《纽约客》再次讨论人工智能危机，而微信公众号上关于“ChatGPT时代，我们该如何应对”的文章也轻松突破了十万+的阅读量，甚至投资市场对AI产业的支持开始加大，似乎一切都在向“明天会更好”的方向发展。
然而，在学术界，尤其是从事AI相关研究的我们，随着大型模型的不断涌现，心中却常常会有一个疑问：在这个烧钱堆大模型的时代，我们的竞争力到底在哪里？
当我们看到DeepMind、OpenAI、Google Brain和Meta AI等企业级人工智能研究机构大步前进，利用数据和算力创造出连我们都无法解释的“涌现”现象时，不禁思考，凭借实验室里的几块GPU和几位研究人员，我们究竟还能做什么？
面对这一挑战，纽约大学的Julian Togelius教授和马耳他大学的Georgios N. Yannakakis教授在其论文《Survival Strategies for Depressed AI Academics》中提出了一些策略（鸡汤）供我们参考，帮助我们摆脱“抑郁”的情绪。作者将这种失落感形象地比喻为镇上的杂货店老板，面对身边新开了一家沃尔玛（DeepMind和OpenAI），我们该如何应对？当然，作者也指出，提出这些策略仅仅是个开始，他们更希望引发讨论，以便我们共同应对“大模型时代下的科研”这一宏大议题。
论文链接：
Survival Strategies for Depressed AI Academics
1. 放弃（躺平）
没错，第一条策略就是“Give Up!”。作者意在表达，如果您已经获得了“铁饭碗”（永久教职），并且不太关注晋升，那么“躺平”或许是最佳选择。放弃并不意味着退出学术界，而是指对有影响力的工作放手不管。还有许多细节和子领域的问题可以在一般期刊或会议上发表，尽管旁边有沃尔玛，小超市也不至于完全倒闭。
虽然放弃似乎是最优解，但作者提醒这可能并非当初选择从事研究的初衷。
2. 迎战风车！
正如堂吉诃德带着侍从桑丘在乡间看见风车，作者在第二条建议中提到“与压倒性的对手直接竞争”，即在实验室中训练出大型模型。然而，作者并未提供具体的操作方案，只列出了一些注意事项，例如资金问题、实验室的能力建设和人员需求。他们悲观地表示，现有的学术结构与成功的大模型项目需要的结构并不兼容。
3. 或许不需要SOTA
显然并非所有领域都适合大型模型。如果我们能证明一种新方法的理论优势或与现有方法的比较优势，即便不追求当前的SOTA，简单且具代表性的实验仍然有意义。然而，作者也指出，这样做可能会影响影响力，并且在许多领域，如NLP，缩小规模以证明理论优势非常困难。
4. “白嫖”
并不是说做研究就必须从头训一个大模型。近年来，开源社区为人工智能的快速发展提供了巨大支持。利用现有的开源模型进行微调，也可以是解决问题的一条可行路径。不过，值得注意的是，并非所有的开源工具和模型都能满足我们的期待。
5. 拆解与分析
我们或许无法创造出全新的计算机，但可以对现有的计算机进行拆解。针对大模型的分析性研究可能成为一个非常有潜力的方向，因为我们目前对这些强大的模型理解得并不充分。深入分析这些模型，开发可视化工具，能帮助我们更好地理解它们的特性和问题，成为推动模型迭代的重要力量。
6. 转向强化学习
如果大模型的缺乏数据成为限制，不妨转向强化学习。强化学习允许我们绕过数据收集和分析问题，适合数据不足的场景。然而，作者也提醒，尽管避免了数据集的问题，强化学习本身的算力需求也不容小觑。
7. 小模型的魅力
大模型并不总是最佳选择，尤其是在需要用户端部署或边缘计算的场景中，此时小而快速的模型可能更具优势。此外，小样本学习的研究在许多场景下能实现有效的知识迁移，两位作者认为这一方向的重要性将在未来几年内显著增长。
8. 避开竞争锋芒
选择一个工业界不感兴趣的研究领域也是一种有效的策略。作者分享了他们在AI for Games领域的经历，在这个领域，大公司通常不会投入过多精力，从而为一些科研工作者提供了生存空间。然而，这种策略也可能导致研究成果难以在顶级会议上被接受。
9. 辟地开荒
更高风险的策略是专注于“尚不存在”的领域，解决那些几乎无人关注的问题。这就像打赌，下注于未来该领域的重要性。尽管这种策略潜在收益较高，但也伴随着孤独和不被理解的风险。
10. 挑战不可能
大型实验室通常会选择最可能成功的项目，而小型科研实验室的试错成本较低。在学术界，失败同样可以拥有其独特的意义，许多AI的重要发明都是来自那些看似“错误”的尝试。
11. 游走于道德边缘
大公司通常由于公众舆论的压力，避免进行任何有争议的实验。研究人员可以利用这一点，寻找一些不被大型公司关注的领域进行探索，而不是进行任何不道德的试验。作者举了一个系统模仿某作家的项目作为例子，这种研究模式往往被大企业忽略。
12. 创业之路
如果现有的学术研究结构无法支持大模型项目，创业或许是一个可行的选择。创业能获得丰富的数据和资金支持，但它也伴随着高风险和不确定性。许多成功的研究转化为产品经历漫长的发展期，且出色的研究想法不一定能转化为优秀的产品。
13. 加入而非对抗
如果上述策略不适用，直接加入大公司或与之建立合作关系也是不错的选择。在学校通过访问研究、实习等方式与AI公司建立联系，能够让学术研究者和企业之间相互受益。
结束语
这篇论文总结的十三条策略几乎要求科研人员以游击战的方式与巨头企业竞争。然而，AI研究在学界的衰退直接影响到企业的创新能力。对于企业而言，积极参与开源、扩大与学界的合作、公开研究成果，将有助于这个问题的解决。
最终，正如作者所说，这些策略只是一个起点。他们希望通过提出问题促使公共讨论，期待形成一个共同的目标或集体解决方案。面对大模型时代巨头企业的碾压，作为AI学界的科研人员，我们应采取什么样的策略和选择？欢迎大家在评论区积极讨论并投票！