シリーズ「大規模言語モデル（LLM）の導入方法」のパート1では、さまざまな導入オプションに関連するリスクについて説明します。これらのリスクは、デプロイの全体的な有効性と信頼性に大きな影響を与える可能性があるため、考慮することが重要です。

各展開アーキテクチャの長所と短所を深く掘り下げ、パフォーマンス、コスト、および機能の観点からこれらのオプションを検証します。徹底的な分析により、お客様の目的と運用要件に最適な配備戦略を明確にし、お知らせします。

外部サードパーティLLM API

プロ コストが下がる可能性

サードパーティのLLM APIを使用することによる相対的なコスト削減について、一般的な評価を下すことはできませんが、計算機利用率は、この削減を計算する際のいくつかの原動力の一つです。OpenAIのGPT-4のような外部APIは、しばしばオープンソースモデルよりもトークン単価が高い。それでも、後者はオープンソースモデルのホスティングに関連するインフラコストが発生します。専用デプロイメントは、サードパーティAPIオプションよりも運用コストが高い場合が多い。クライアントが共有するオープンソースモデルは、専用オプションよりも安価であるが、サービスプロバイダのホスティングされたLLMを共有するクライアントの数に依存する。

プロ より高いパフォーマンスの可能性

エンドユーザー製品の性能は、使用するLLM以上のものに依存する。LLMはより大きなアーキテクチャの中の1つのコンポーネントに過ぎないので、さまざまな考慮事項や制限要因が存在しうる。オープンソースのリーダーボードや研究などのベンチマークを検討することは有意義ですが、決定的ではありません。様々なタスク（要約や質問と回答など）において、異なるモデルが相対的に異なるパフォーマンスを発揮する可能性がありますが、一般的に、GPT-4とおそらくその将来の反復は、オープンソースモデルを上回るでしょう。しかし、多くの場合、プロンプト、チューニング、その他のアーキテクチャ設計の組み合わせが、より小さなモデルをサポートすることで、洗練されていないアーキテクチャで展開されたより大きなモデルの性能を上回ることがあります。パフォーマンスを評価するには、テクノロジープロバイダーがこれらのLLMをエンドツーエンドで展開または統合しているソリューションをベンチマークする方がより正確でしょう。LLMだけの性能ベンチマークを考慮することは、誤解を招く可能性があります。

短所：限られたチューニング（カスタマイズ）

チューニング（およびファインチューニング）には、特定のタスクでより良いパフォーマンスを発揮するように元のモデルの一部を修正することが含まれ、OpenAI GPTのような外部モデルではより制限されます。

欠点：データ保持と利用方針の可能性

前述したように、外部のLLM APIプロバイダーは、ソリューション・プロバイダーとのサービス契約に記載されたデータ保持および使用ポリシーを持っている場合があります。これについては早い段階で問い合わせるようにしてください。

欠点：バージョン管理ができない

サードパーティのLLM APIサービスに依存しているソリューション・プロバイダーは、基礎となるモデルの変更や更新に関して、プロバイダーの意のままになります。通常、サードパーティのLLMプロバイダーは、これらのモデルを継続的に更新し、改善している。これは一見ポジティブに見えますが、以前のモデルバージョンの出力を利用していたダウンストリームタスクでは、突然予期せぬパフォーマンスの変化を引き起こす可能性があります。このような変化は、ほとんどの人にとっては気づかないかもしれないし、特に重要ではないかもしれない。しかし、リーガルサービス業界では、文書レビューのように、一貫性と妥当性が擁護にとって重要である場合、文書の分類や指定が変更されることがよくあります。このような場合、事前作成の弁護可能性や品質が重大な問題に発展する可能性がある。

ソリューション・プロバイダーが提供するカスタムLLM

プロフェッショナル データ保持の完全管理

ソリューション・プロバイダーはモデルを完全にコントロールし、データ保持と使用ポリシーを定義する完全な柔軟性を行使する。このため、顧客は標準を設定したり、少なくともサービス・プロバイダーと交渉したりすることができる。

プロ バージョン管理

データの保持と使用と同様に、独自のLLMをホスティングするソリューション・プロバイダーは、クライアントのためにバージョン管理および更新管理を実装することができ、クライアントは様々な案件で活用されるバージョンを完全に管理することができる。文書レビューの場合、サービス・プロバイダーはこのようなコントロールを活用することで、クライアントが意図的なアクションを取らない限り、文書の分類やスコアが一貫性を保ち、変更されないという保証を提供することができる。

長所：旋回の柔軟性が高い

独自のLLMをホスティングしているサービス・プロバイダーは、LLMのパラメーターを完全にコントロールできる。このため、サービス・プロバイダーがその機能を利用できる技術的専門知識を持っている限り、サービス・プロバイダーとその顧客は、特定のタスクやデータに合わせてLLMを調整したりカスタマイズしたりすることができる。

短所：コストが高くなる可能性がある

多くの理由から、ソリューション・プロバイダーが展開するモデルは、Llama-3のようなオープンソースの基盤モデルに基づいている可能性が高い。これらのモデルはOpenAI GPT-4よりもトークンあたりの実行コストが安い。しかし、上述のように、利用率に関係なく、専用環境とGPUリソースのホスティングに関連するインフラコストを考慮すると、総所有コストはしばしば著しく高くなる可能性があります。

外部のサードパーティ製LLM APIと、ソリューション・プロバイダーが提供するカスタムLLMには、それぞれ独自の利点と課題がある。外部APIは、初期費用を抑え、高いパフォーマンスを発揮する可能性があるが、カスタマイズ、データポリシー、バージョン管理に制限がある。カスタムLLMはより柔軟でコントロールしやすいが、運用コストが高くなる傾向がある。

これらのトレードオフを理解することは、特定のニーズや目標に最も適した導入戦略を選択するための鍵となります。