eDiscoveryにおいて、文書レビューの正確性と法的根拠の確立は最も重要な課題です。特に、文書が相手方当事者や規制当局と共有される場合、その重要性はさらに高まります。Epiq AI Discovery Assistant™ は、標準的な評価指標（リコール、プレシジョン、エリュージョン）による検証を可能にすることで、このプロセスに統計的な厳密性を導入します。

• リコールは、すべての関連文書の中から正しく特定された関連文書の数を測定します。
• プレシジョンは、関連文書として特定された文書のうち、実際に関連する文書の数を評価します。
• エリュージョンは、関連しないものと仮定されたセット内に存在する可能性のある関連文書の数を推定します。

これらの指標はランダムサンプリングに基づいており、AIを活用した文書レビューの有効性を評価する透明性があり統計的に妥当な方法を提供します。

検証のタイミング

外部関係者への文書提出時、検証は最も重要です。規制当局や相手方の弁護士など、審査プロセスの信頼性を示すことは不可欠です。内部調査や受領した文書提出の場合、検証は任意ですが、依然として有益です。信頼区間を用いて回収率、精度、漏洩率、および情報量を推定する能力は、防御可能性と透明性を確保します。

測定すべき項目

Epiq AI Discovery Assistant™ は、単に「関連性あり」または「関連性なし」の分類を特定するだけでなく、問題タグ付けと特権検出もサポートします。システムには、各問題タグごとにリコールとプレシジョン（精度）のトレードオフ指標が組み込まれており、k-foldクロスバリデーションとレビューコードを活用しています。

ただし、これはコントロールセットとは異なりますので、ワークフローの検討をガイドする目的でのみ使用すべきです。

全体的な「応答性あり」と「応答性なし」の分類を検証することは、一般的に推奨される実践方法です。各タグに組み込まれたガイドラインは適切なカットオフスコアを決定するのに役立ちますが、全体的な生産の有効性を判断するためには、Epiqは全体的な「応答性あり」と「応答性なし」の判定を検証することを推奨しています。

コントロールセット：検証の基盤

500件の文書からなるコントロールセットは、通常、十分なカバー範囲を提供します。データセットの多様性が低い場合や、より高い信頼水準を必要とする場合、より大規模なコントロールセットを選択することも可能です。

コントロールセットはコレクションからランダムに選択され、モデルを訓練するためにコーディングは使用されません。コントロールセットの文書は訓練から除外され、検証のみに使用されます。

有病率サンプリング：初期の洞察

レビューの初期段階において、データセット内の「応答可能な文書」の割合を推定するために、小さなランダムサンプル（有病率サンプル）が使用されます。これは、収集から生じる可能性のある文書の種類や問題点を特定するだけでなく、 downstream 活動の計画にも役立ちます。例えば、応答文書として特定された文書に対して第2段階のレビューが計画されている場合、頻度サンプリングは、どの程度の応答文書が発見されるかについての早期の指標を提供します。これは、リソース配分やスケジュール見込みを決定する戦略的なステップです。

回避サンプル：最終確認

レビューワークフローの最終段階において、重要なステップの一つが、非関連と判定され、提供されていない文書からランダムに抽出されるサンプルです。回避サンプルは、見落とされた関連文書の割合を特定するランダムサンプルであり、内部調査や新規提供物において、重要な情報が漏れていないことを確認するための強力なツールです。回避サンプルは、予測された関連文書がすべてレビューされた際に、回収率を推定するにも役立ちます。

Epiq AI Discovery Assistant™ インターフェースの使いやすさ

Epiq AI Discovery Assistant™を使用したサンプルセットの設定と実行は、シンプルさを重視して設計されています。ユーザーは、ガイド付きワークフローを通じて、コントロールサンプル、プレvalenceサンプル、およびエリュージョンサンプルを直接開始できます。各ステップにはツールチップと組み込みの推奨事項が含まれており、統計の専門知識がなくても、法律専門家がサンプリングパラメーターを構成できるようになっています。この簡素化されたプロセスにより、法律チームは文書セットの検証を迅速かつ自信を持って行うことができます。

結論

これらの確立され、よく理解されている検証指標は、Epiq AI Discovery Assistant™ プロセスにも推奨され、組み込まれています。関連性に関する精度、再現率、および回避信頼区間を特定することで、すべての関係者に方法と結果の有効性に対する確信を提供します。
Epiq AI Discovery Assistant™は高度な機能を提供しますが、その重点は法律専門家の支援にあり、彼らを置き換えるものではありません。人間の手腕とAIの洞察を組み合わせることで、法務部門や法律事務所は文書レビュープロセスを効率化し、正確性と責任性の最高基準を満たすことができます。

ジョン・ラヴィンダー、Epiq製品管理シニアディレクター
AIツール、テクノロジー支援型レビュー（TAR）、チャットと協業型データ、早期案件評価（ECA）技術を担当するジョンは、法律事務所と企業法務専門家と密接に連携し、次世代の法的発見と情報ガバナンスのためのツールとサービスの開発に取り組んでいます。ラヴィンダー氏は、AIの活用と業界の未来に関するテーマで、eディスカバリーカンファレンスでの講演を頻繁に務めています。