Bei eDiscovery ist es von größter Bedeutung, die Genauigkeit und Vertretbarkeit der Dokumentenprüfung sicherzustellen, insbesondere wenn die Ergebnisse mit gegnerischen Parteien oder Aufsichtsbehörden geteilt werden. Epiq AI Discovery Assistant™ sorgt für statistische Genauigkeit in diesem Prozess, indem es die Validierung durch standardisierte Bewertungsmetriken ermöglicht: Recall, Precision und Elusion.

• Der Recall misst, wie viele relevante Dokumente aus allen möglichen relevanten Dokumenten korrekt identifiziert wurden.
• Die Präzision bewertet, wie viele als relevant identifizierte Dokumente tatsächlich relevant waren.
• Die Auslassung schätzt, wie viele relevante Dokumente in der als irrelevant angesehenen Gruppe vorhanden sein könnten.

Diese auf Zufallsstichproben basierenden Metriken ermöglichen eine transparente und statistisch fundierte Bewertung der Effektivität der durch KI unterstützten Dokumentenprüfung.

Wann muss validiert werden?

Die Validierung ist besonders wichtig, wenn Dokumente für externe Parteien erstellt werden. Egal, ob es sich um eine Aufsichtsbehörde oder einen gegnerischen Anwalt handelt, der Nachweis der Zuverlässigkeit Ihres Überprüfungsprozesses ist unerlässlich. Bei internen Untersuchungen oder eingehenden Produktionen ist die Validierung zwar optional, aber dennoch von Vorteil. Die Möglichkeit, Recall, Precision, Elusion und Richness mit Konfidenzintervallen abzuschätzen, gewährleistet Verteidigungsfähigkeit und Transparenz.

Was zu messen ist

Epiq AI Discovery Assistant™ geht über die bloße Identifizierung der Klassifizierungen Responsive oder Not Responsive hinaus. Er unterstützt auch das Taggen von Problemen und die Erkennung von Privilegien. Das System verfügt über integrierte Metriken für den Abruf und die Genauigkeit für jedes Problem-Tag, die eine k-fache Kreuzvalidierung und Prüfcodes nutzen.

Dies ist jedoch nicht dasselbe wie ein Kontrollsatz und sollte nur als Leitfaden für Überlegungen zum Arbeitsablauf verwendet werden.

Die Validierung der Gesamtkategorien „Responsive“ und „Not Responsive“ ist eine allgemein empfohlene Vorgehensweise. Die integrierten Anleitungen für die einzelnen Tags können bei der Bestimmung geeigneter Grenzwerte helfen. Um jedoch die Effektivität der gesamten Produktion zu bestimmen, empfiehlt Epiq die Validierung der Gesamtbestimmung von „Responsive“ und „Not Responsive“.

Kontrollsatz: Die Grundlage für die Validierung

Ein Kontrollsatz von 500 Dokumenten bietet oft eine angemessene Abdeckung. Für Datensätze mit geringerem Umfang oder für höhere Konfidenzniveaus können größere Kontrollsätze gewählt werden.

Die Kontrollmenge wird nach dem Zufallsprinzip aus der Sammlung ausgewählt, und die Kodierung wird nicht zum Trainieren des Modells verwendet. Die Dokumente des Kontrollsatzes werden aus dem Training herausgenommen und nur zur Validierung verwendet.

Prävalenzstichproben: Erste Einblicke

Zu Beginn einer Überprüfung wird eine kleine Zufallsstichprobe, eine so genannte Prävalenzstichprobe, verwendet, um den Anteil der Responsive-Dokumente im Datensatz zu schätzen. Dies kann nützlich sein, um die Arten von Dokumenten und Problemen zu bestimmen, die sich aus der Sammlung ergeben könnten, sowie für die Planung nachgelagerter Aktivitäten. Wenn zum Beispiel eine Überprüfung auf zweiter Ebene für Dokumente geplant ist, die als Responsive identifiziert wurden, liefert eine Prävalenzstichprobe einen frühen Hinweis darauf, wie viele Responsive-Dokumente gefunden werden. Dies ist ein strategischer Schritt, der die Ressourcenzuweisung und die zeitlichen Erwartungen beeinflusst.

Elusion Probe: Endgültige Zusicherung

Ein entscheidender Schritt am Ende des Überprüfungsworkflows ist eine Zufallsstichprobe von Dokumenten, die als nicht zuständig eingestuft und nicht vorgelegt werden. Eine Ausschlussstichprobe ist eine Zufallsstichprobe, die den Prozentsatz der übersehenen relevanten Dokumente identifiziert; sie ist ein leistungsfähiges Instrument bei internen Untersuchungen und eingehenden Produktionen, bei denen das Team sichergehen will, dass nichts Wichtiges übersehen wurde. Ausschlussstichproben ermöglichen auch eine Schätzung des Rückrufs, wenn alle vorhergesagten relevanten Dokumente überprüft wurden.

Benutzerfreundlichkeit der Epiq AI Discovery Assistant™-Schnittstelle

Das Einrichten und Ausführen von Probensätzen mit Epiq AI Discovery Assistant™ ist sehr einfach. Benutzer initiieren Kontroll-, Prävalenz- und Elusionsproben direkt durch geführte Workflows. Jeder Schritt enthält Tooltips und integrierte Empfehlungen, so dass Juristen die Probenahmeparameter konfigurieren können, ohne über statistisches Fachwissen verfügen zu müssen. Dieser rationalisierte Prozess hilft Rechtsteams, Dokumentensätze schneller und sicherer zu validieren.

Schlussfolgerung

Diese etablierten und gut verstandenen Metriken zur Validierung von Entdeckungsergebnissen werden ebenfalls empfohlen und in den Epiq AI Discovery Assistant™-Prozess integriert. Die Ermittlung der Präzision, des Rückrufs und der Konfidenzintervalle für die Relevanz gibt allen Parteien Gewissheit über die Wirksamkeit der Methode und des Ergebnisses.
Obwohl der Epiq AI Discovery Assistant™ fortschrittliche Funktionen bietet, liegt der Schwerpunkt auf der Unterstützung von Juristen - nicht auf deren Ersatz. Durch die Kombination von menschlichem Fachwissen und KI-Erkenntnissen können Rechtsabteilungen und Kanzleien ihre Prozesse zur Überprüfung von Dokumenten rationalisieren und die höchsten Standards für Genauigkeit und Verantwortlichkeit erfüllen.

Jon Lavinder, Senior Director of Product Management, Epiq
Als Verantwortlicher für KI-Tools, Technology Assisted Review (TAR), Chat- und Kollaborationsdaten sowie Early Case Assessment (ECA)-Technologien arbeitet Jon Lavinder eng mit Anwaltskanzleien und Rechtsexperten in Unternehmen zusammen, um die Tools und Dienste für die nächste Generation der Legal Discovery und Information Governance zu entwickeln. Herr Lavinder ist ein häufiger Redner auf eDiscovery-Konferenzen über den Einsatz von KI und die Zukunft der Branche.