能否取代传统搜索引擎？
ChatGPT及类似大型语言模型（LLM）能否取代传统的搜索引擎如Google和百度，成为一个广泛讨论的话题。大多数探讨聚焦于LLM的技术可行性，却往往忽视了实现这一目标所需的经济成本，从而对LLM的开发和应用产生误判。
本文从经济学的视角出发，深入分析了类ChatGPT模型在搜索中的成本、训练GPT-3的费用以及绘制LLM成本轨迹的通用框架，为理解LLM的成本结构和未来发展提供了有益的参考。
重点概览
- LLM驱动的搜索已实现经济可行：粗略估算，在现有搜索的成本结构下，LLM驱动的搜索成本约占当前预估广告收入/查询的15%。
- 经济可行性不等于经济合理性：尽管LLM驱动搜索的单位经济性有利可图，但对于收入超过1000亿美元的搜索引擎来说，添加此功能可能意味着超过100亿美元的额外成本。
- 新兴LLM驱动业务获利丰厚：一些新兴业务如Jasper.ai通过LLM生成文案，毛利率可能高达75%。
- 大公司训练LLM的成本相对较低：如今，在公有云中训练GPT-3只需约140万美元，而如PaLM这样的先进模型也仅需约1120万美元。
- LLM的训练和推理成本可能显著下降：自GPT-3发布以来，模型的训练和推理成本已经下降了约80%。
- 数据成为LLM性能的新瓶颈：相较于增加模型参数规模，扩展高质量训练数据集的边际收益正在减少。
动机
LLM的突出性能引起了大家对可能的新商业模式和对现有模式影响的猜测。搜索领域有着巨大的机会。2021年，谷歌从搜索相关广告中获得超1000亿美元的收入。ChatGPT的“病毒式”传播引发了对搜索领域潜在影响的思索，尤其是LLM的经济可行性。
一些潜在开发者甚至声称，要实施LLM驱动的搜索，需要先将其成本降低10倍。与此同时，微软计划在3月份推出LLM版本的Bing，而像You.com这样的初创公司也已将该技术嵌入其产品中。谷歌则有意在今年推出带有聊天机器人功能的搜索引擎。
重温LLM工作原理
语言模型在给定上下文的情况下，预测可能的输出token；通过生成这些token来构建响应。当前LLM的高性能依赖于数十亿参数的深度神经网络（DNN）。参数的数量与进行预测所需的浮点运算量（FLOPS）成正比，而这些运算往往在针对矩阵运算优化的处理器（如GPU和TPU）上完成。
LLM驱动搜索的成本
本文将估算LLM驱动搜索引擎的运行成本，考虑两种主要实现方式：
- ChatGPT Equivalent：在庞大训练数据集上训练的LLM，在推理过程中无法访问外部知识。
- 2-Stage Search Summarizer：在第一阶段通过传统搜索引擎获取结果，第二阶段通过LLM处理这些结果。
与第一种方法相比，第二种方法虽然能获取实时信息，但需要更高的计算成本。
训练LLM的成本
对如GPT-3（1750亿参数）的训练成本的估算表明，使用GCP TPU v4芯片进行训练的成本仅为140万美元。通过此框架，还可以对其他大型LLM的训练成本进行估算。
绘制成本轨迹的通用框架
自GPT-3发布以来，学习与其性能对等的模型所需的训练和推理成本大幅下降，低于以往的五分之一。最新研究表明，增加训练数据的质量与数量会比单纯增加模型参数更有效。
大型语言模型的未来
随着搜索领域对LLM的探索逐渐深入，预计这项技术将逐步得到更广泛的应用。尽管实现LLM的搜索功能成本较高，但从长远来看，这一领域仍有巨大的潜力等待开发。未来，随着技术进步与经济模式变革，我们或将看到LLM在各个领域中发挥更加重要的作用。