リーガルウィーク2025 セッション総括

AIを信頼するとはどういうことか？AIの専門家であるロン・ブラクマンによれば、「テクノロジーが長期にわたって一貫した行動を示すこと」である。

信頼は、AI導入の成功の礎である。信頼がなければ、ユーザーや利害関係者は、その現在と将来のメリットにかかわらず、AIテクノロジーを受け入れることはないだろう。

AIが進歩し続ける中、特に大規模言語モデル(LLMs)やエージェント型AIの出現により、信頼は依然として最重要課題であり、Epiqが提供したLegalweek 2025 Emerging Techセッション 「LLMs to Agentic AI - Tackling Trust and Explainability 」の焦点となりました。Epiqの先端技術担当ディレクター、アレクシス・ミッチェルの司会のもと、セッションには以下のパネリストが参加しました：  

• Ron Brachman、コーネル大学客員教授、Schmidt Sciences特別客員研究員
• アリソン・コステッカ、ギブソン・ダン パートナー    
• スティーブン・ドゥーリー、サリバン・アンド・クロムウェル社電子証拠開示・訴訟サポート担当ディレクター    
• Igor Labutov、Epiq AIラボ、バイスプレジデント

幻覚を超える

LLMは信憑性のある回答を提供するが、もっともらしく見えても微妙な誤りを含む結果を出すこともあり、しばしば「幻覚」と呼ばれる。これは、イゴール・ラブトフのセッションで、彼がLLMに自分の経歴を書かせたときに実証された。幻覚という言葉は一般的に法学修士を連想させるが、この種の混同エラーはどのような機械学習モデルにも内在するものであり、法律専門家はTARやその他の第一世代のレビュー・テクノロジーを扱う際に、このようなエラーに慣れ親しんできた。Labutovが述べているように、「現在の課題は、物語的な回答を提供することができる、より複雑なモデルを扱うワークフローに対する信頼と確信を深めることである」。

その後、議論は最近のAIの進歩、推論モデル、エージェントAIに移った。推論モデルは、その出力に反映させることができるため、エラーの可能性を減らすことができるが、大規模な文書コレクションを取り込むことにはまだ限界がある。エージェント型AIは、ツールを使ってアクションを起こし、フィードバックを受けて回答を洗練させることで、人間のワークフローを模倣する。

エージェント型AIは幅広い用語であり、AIエージェントはモノリシックではなく、ソリューション・プロバイダーによって設計された複雑なシステムであることが強調された。このアーキテクチャは、LLMの限界に対処するための柔軟性を提供する。しかし、適切な評価に不可欠な内部設計の明確な理解なしには、エージェント型AIソリューションの比較を困難にしている。さまざまなエージェント・システムを選択する際、ラボトフ氏は「多種多様なモデルが存在するが、基本的にはどれも非常によく似たアーキテクチャだ」と指摘する。
 

最も一般的な信頼の課題

法律業界が先進的なAIを受け入れ、その利用において信頼を構築しようとする中、AIツールの評価基準を確立するための業界全体のベンチマークと協力が必要とされている。パネルディスカッションでは、現在業界が直面している最も一般的な「信頼の課題」には、倫理的・専門的基準、説明可能性・透明性、正確性・信頼性、現実的な運用要素などが含まれるとの認識で一致した。スティーブン・ドゥーリー氏は、説明可能性と透明性は、ソリューションだけでなくワークフローを守るためにも極めて重要であると強調した。彼は、ツールがどのようにデータを扱うかを管理するために、履歴と追跡ソリューションを持つことの重要性を強調した。さらに、AIモデルの正確性と信頼性を確保するための品質管理チェックの必要性を強調した。

もうひとつの課題は、高度なAIのユーザーと、AIが生成する答えを信頼しすぎる可能性についてだ。AIが進歩し続け、ユーザーが日常業務でチャットベースのAIツールを使うことに慣れるにつれ、回答の欠陥を見抜くことが難しくなっている。アリソン・コステッカは、「1つの質問だけでなく、5つの質問をしてください。答えを比較し、さまざまな方法で検証してください」。

Kosteckaはまた、信頼はAI技術を評価する初期段階から始まるとコメントした。それは、ツールを安全な方法でテストし、そのツールがやるべきことを確実に実行できるようにすることから始まる。Kostecka氏は、新しいAIツールをテストする場合、ツールの能力と出力を検証するために、ツールに取り込み、質問できるベンチマークデータセットをコンパイルすることがベストプラクティスであると示唆した。Kosteckaのチームは、手元の訴訟に関連する一般に入手可能なデータを使用してベンチマーク・データセットをコンパイルした。

信頼できるAIを目指す旅は、常に継続的な追求である。AI技術の絶え間ない進歩には、透明性、説明責任、倫理基準を強化する継続的な取り組みが伴わなければならない。ドゥーリー氏が要約したように、「信頼とは、テクノロジーそのものだけでなく、その使用を管理する法的・倫理的枠組みを含め、それを支えるエコシステム全体に関するものである」。

Epiq AIアプリケーションと、それらがサポートするナレッジマネジメント、宣誓証言および裁判準備、契約ライフサイクル管理、ディスカバリーを含む幅広い法的ユースケースについて、詳細をご覧ください。