Skip to Content (custom)

Angle

如何部署大型语言模型(下):公共模型与私有模型

  • eDiscovery
  • 3 Mins

在《如何部署大型语言模型(LLM)》系列的第一部分中,我们探讨了不同部署方案相关的风险。这些风险可能显著影响部署的整体效能与可靠性,因此必须予以重视。 

通过深入剖析每种部署架构的优劣,我们从性能、成本和功能三个维度审视这些方案。全面的分析将帮助您厘清思路,为实现目标和满足运营需求制定最优部署策略。 

外部第三方大型语言模型API 

优势:潜在成本更低 

虽然无法对使用第三方大型语言模型API的相对成本节约进行普遍评估,但计算资源利用率是计算成本降低的关键驱动因素之一。诸如OpenAI的GPT-4等外部API通常比开源模型每字符的成本更高。但开源模型需承担与托管相关的基础设施成本,无论是否处于使用状态。专用部署的运营成本往往高于第三方API方案。客户共享的开源模型虽比专用方案更经济,但实际成本取决于共享服务商托管LLM的客户数量。 

优势:潜在更高性能

任何终端用户产品的性能表现不仅取决于所使用的LLM。大型语言模型仅是整体架构中的一个组件,因此可能存在多种考量因素和限制条件。参考开源排行榜和研究等基准测试虽有价值,但绝非决定性依据。尽管不同模型在各类任务(如摘要生成或问答系统)中的相对表现存在差异,但总体而言,GPT-4及其未来迭代版本很可能超越开源模型。然而,通过结合提示词优化、模型微调及其他架构设计手段,小型模型往往能超越部署于简陋架构的大型模型。评估性能时,更准确的做法是针对技术供应商端到端部署或集成这些大型语言模型的整体解决方案进行基准测试。仅考量大型语言模型本身的性能基准可能产生误导。

缺点:调优(定制化)受限

调优(及微调)是指修改原始模型的一部分,使其在特定任务上表现更佳。对于OpenAI GPT等外部模型而言,这种能力受到很大限制。 

缺点:潜在的数据保留与使用政策

如前所述,外部大型语言模型(LLM)API提供商可能在其与您解决方案提供商的服务协议中规定了数据保留与使用政策。务必尽早了解相关条款。 

缺点:无法控制版本更新

依赖第三方大型语言模型(LLM)API服务的解决方案提供商,在底层模型变更或更新方面完全受制于服务商。通常,第三方LLM提供商会持续更新和优化这些模型。虽然这看似积极,但可能导致任何利用先前模型版本输出结果的下游任务突然出现性能变化。这些变化对多数情况而言可能不易察觉或并不关键。但在法律服务行业—尤其在文件审查等对一致性与稳定性要求极高的领域—此类变更往往导致文件分类或标注结果改变,从而严重动摇先前产出成果的可辩护性与质量可靠性。 

解决方案提供商提供的定制化大型语言模型 

优势:对数据保留的完全掌控 

解决方案提供商完全掌控模型,并能灵活定义数据保留与使用策略。这使客户能够设定标准,或至少与服务提供商协商达成一致。 

优势:对版本控制的完全掌控 

与数据保留和使用类似,自行托管大型语言模型的解决方案提供商可为客户实施版本与更新控制,使其能够完全掌控各类事务中使用的版本,同时确保客户对模型输出成果的工作立场不受影响。在文件审查领域,运用此类控制机制的服务提供商可承诺:除非客户主动采取行动,否则文件分类或评分将保持一致且不变。 

优势:更高的灵活调整能力

自行托管大型语言模型的服务提供商能够完全掌控模型参数。这为他们及其客户提供了极大的灵活性,可针对特定任务或数据对模型进行调优和定制—前提是服务提供商具备实现该功能的技术能力。 

缺点:潜在成本更高

出于多种原因,解决方案提供商部署的模型很可能基于开源基础模型(如Llama-3)。这些模型的单令牌运行成本低于OpenAI的GPT-4。然而如前所述,当计入托管专用环境和GPU资源的基础设施成本时,无论实际利用率如何,其总拥有成本往往会显著增加。 

外部第三方大型语言模型(LLM)API与解决方案供应商提供的定制化LLM各有其独特优势与挑战。外部API前期成本较低且性能潜力更高,但在定制化、数据政策及版本控制方面存在局限。定制化LLM则提供更强的灵活性与控制力,但运营成本往往更高。
 
理解这些取舍关系,是选择最契合您具体需求与目标的部署策略的关键所在。


伊戈尔·拉布托夫,Epiq AI实验室副总裁

伊戈尔·拉布托夫是Epiq公司的副总裁,并共同领导Epiq人工智能实验室。作为计算机科学家,他专注于开发能够从自然人类监督(如自然语言)中学习的机器学习算法,在人工智能与机器学习领域拥有逾十年研究经验。拉布托夫在康奈尔大学获得博士学位,后于卡内基梅隆大学担任博士后研究员,期间在以人为本的人工智能与机器学习交叉领域开展开创性研究。加入Epiq前,他联合创立了LAER AI公司,将研究成果应用于开发颠覆性法律行业技术。

 

本文的内容仅旨在传达一般信息,不提供法律建议或意见。

Subscribe to Future Blog Posts