Der Einsatz von KI im Bereich eDiscovery bringt Chancen und Herausforderungen mit sich, insbesondere in Bezug auf die Verteidigungsfähigkeit. Juristen müssen darauf vorbereitet sein, den Einsatz von KI-Tools sowohl unter idealen als auch unter widrigen Bedingungen zu rechtfertigen. Die Analyse von Best- und Worst-Case-Szenarien bietet einen Rahmen für die Überprüfung der Verteidigungsfähigkeit von KI. Unter günstigen Umständen wird KI nicht anders als menschliche Prüfer betrachtet, was effiziente und vertrauliche Arbeitsabläufe ermöglicht. In strittigeren Situationen kann die produzierende Partei einer genauen Prüfung und Forderungen nach Transparenz ausgesetzt sein. Es ist von entscheidender Bedeutung, zu überlegen, wie eine praktische Zusammenarbeit zwischen den Parteien aussehen könnte, wobei die Bedeutung von Angemessenheit, Transparenz und der Einhaltung etablierter Grundsätze hervorzuheben ist.

Was alle eDiscovery-Workflows gemeinsam haben

Meet-and-Confer-Gespräche sind in Rechtsstreitigkeiten vorgeschrieben und unerlässlich, um sicherzustellen, dass beide Seiten die Parameter der Beweisaufnahme verstehen und Bedenken frühzeitig äußern können.

Die Gespräche sollten die Quellen und Formate elektronisch gespeicherter Informationen (ESI), Methoden zur Datensicherung und -erfassung sowie Protokolle für die Suche und Überprüfung umfassen. Die proaktive Behandlung dieser Themen trägt dazu bei, dass die Beweisaufnahme in einer angemessenen, verhältnismäßigen und vertretbaren Weise durchgeführt wird und gleichzeitig das Risiko späterer Streitigkeiten oder Sanktionen im Laufe des Verfahrens minimiert wird.

Eine weitere Gemeinsamkeit ist das Fehlerpotenzial bei manuellen oder technologiegestützten Überprüfungen (TAR). Risiken erfordern Qualitätskontrollmaßnahmen und Dokumentation. Das Vorhandensein von Fehlern untergräbt nicht die Verteidigungsfähigkeit eines Arbeitsablaufs; entscheidend ist, ob der Gesamtprozess angemessen und verhältnismäßig war.

Präzisions-, Rückruf- und Ausweichraten sind für alle diese Methoden anwendbar. Dank ihrer Konsistenz können Gerichte und Parteien einen Überprüfungsprozess ohne Voreingenommenheit gegenüber der verwendeten Technologie beurteilen. Der Schlüssel liegt in der Transparenz und der Fähigkeit, eine durchdachte Konzeption und Ausführung nachzuweisen.

Bestes Szenario: KI-gestützte Überprüfung nach denselben Standards wie die Überprüfung durch Menschen

Im besten Fall genießt die KI-Überprüfung dasselbe Maß an Vertrauen und Kontrolle wie die herkömmliche Überprüfung durch Menschen. Dieser Ansatz steht im Einklang mit dem Sedona-Prinzip 6, wonach die produzierende Partei am besten in der Lage ist, die geeigneten Technologien und Methoden für ihre Produktion zu bestimmen.

Es besteht keine Verpflichtung zur Offenlegung von Bewertungsmetriken wie Präzision und Recall, obwohl deren Berechnung empfohlen wird. Genau wie bei der Überprüfung durch Menschen bedeutet das Fehlen gemeinsamer Metriken nicht, dass es an Sorgfalt mangelt, sondern nur, dass die produzierende Partei nicht verpflichtet ist, ihre internen Qualitätskontrollmaßnahmen offenzulegen, es sei denn, es wird ein Mangel geltend gemacht.

Die Verwendung von KI zum Durchsuchen von Dokumenten und deren Kennzeichnung zur Aufbewahrung ist jedoch riskant, unabhängig davon, ob sie der gegnerischen Partei offengelegt wird oder nicht. KI kann sich bei der Identifizierung von Verwahrern und Datenspeichern, die einer gesetzlichen Aufbewahrungspflicht unterliegen, als nützlich erweisen, solange keine Filterung über Datumsbereiche hinaus angewendet wird. Wenn aus irgendeinem Grund ESI verloren geht, das einer gesetzlichen Aufbewahrungspflicht unterliegen sollte, muss die vorlegende Partei nachweisen, dass sie angemessene Maßnahmen ergriffen hat, um den Verlust zu vermeiden.

Worst-Case-Szenario: Der Einsatz von KI wird auf jede erdenkliche Weise hinterfragt

Im schlimmsten Fall stellt die gegnerische Partei die Angemessenheit der Vorlage in Frage und verlangt vollständige Transparenz hinsichtlich des KI-Prüfungsprozesses. Dazu gehören auch Aufforderungen zur Offenlegung der zur Steuerung der KI verwendeten Eingabeaufforderungen mit der Begründung, dass diese Eingabeaufforderungen den Umfang und die Art der Prüfung beeinflussen. Ein solches Maß an Kontrolle ist zwar ungewöhnlich, kann jedoch bei Rechtsstreitigkeiten mit hohem Einsatz oder bei früheren Streitigkeiten im Zusammenhang mit der Offenlegung von Beweismitteln auftreten.

Die produzierende Partei kann auch aufgefordert werden, jeden Schritt des Arbeitsablaufs offenzulegen, einschließlich Vorverarbeitung, Filterung und Validierung nach der Überprüfung. Die Belastung durch eine solche Offenlegung kann sich auf den Zeitplan auswirken und das Risiko einer möglichen Offenlegung vertraulicher Informationen mit sich bringen.

Eine weitere Forderung ist der Zugang zum „AI-Denk- oder Entscheidungsprozess“. Angesichts der Undurchsichtigkeit großer Sprachmodelle (LLMs) mag dies zwar nicht realisierbar sein, doch viele Tools protokollieren die Gedankenkette, die das zugrunde liegende LLM als „Argumentation“ ausgibt. Letztendlich müssen die Gerichte möglicherweise zwischen dem Bedürfnis der anfordernden Partei nach Transparenz und dem Recht der produzierenden Partei auf Vertraulichkeit hinsichtlich ihrer Tools und Methoden abwägen.

Die gegnerische Partei könnte auch argumentieren, dass KI Verzerrungen aufweisen könnte, die die Ergebnisse der Überprüfung verfälschen. In solchen Fällen muss die vorlegende Partei möglicherweise nachweisen, dass Maßnahmen zur Bewertung und Minderung von Verzerrungen ergriffen wurden, auch wenn solche Bewertungen bei der Überprüfung durch Menschen in der Regel nicht erforderlich sind.

Diese Anforderungen können zwar aufwändig sein, unterstreichen jedoch, wie wichtig es ist, eine gründliche Dokumentation zu führen und bereit zu sein, den Prozess im Falle einer Anfechtung zu verteidigen.

Während jedes Schrittes der Beweisaufnahme ist es von entscheidender Bedeutung, Prüfpfade zu führen, die jede durchgeführte Maßnahme dokumentieren. Wenn Fragen zur Integrität des Prozesses aufkommen, liefert ein gut gepflegter Prüfpfad den Nachweis, dass die entsprechenden Verfahren eingehalten wurden.

Bewertung anhand etablierter Kennzahlen

Die Bewertung des Überprüfungsprozesses im Rahmen von eDiscovery erfordert die Anwendung etablierter Kennzahlen, um sicherzustellen, dass er effektiv und vertretbar ist. Drei der wichtigsten Kennzahlen sind unvoreingenommene Schätzungen der Wiederauffindungsrate, der Genauigkeit und der Ausweichrate für die zu überprüfende Population. Diese drei Kennzahlen sollten zur Bewertung jedes Überprüfungsworkflows verwendet werden, unabhängig davon, ob dieser technologiegestützt ist oder nicht.

In der Praxis: Wie sieht die Zusammenarbeit aus?

Die Zusammenarbeit zwischen den Parteien ist unerlässlich, um Streitigkeiten und Verzögerungen zu vermeiden. Für die produzierende Partei bedeutet dies, Transparenz hinsichtlich der Verwendung der LLM-Technologie zu wahren. Der Austausch von allgemeinen Informationen über die verwendete Technologie und die erzielten Bewertungsmetriken kann dazu beitragen, Vertrauen aufzubauen und Konflikte zu vermeiden.

Gleichzeitig muss die anfordernde Partei vernünftig handeln. Genauso wie es unangemessen wäre, das Überprüfungsprotokoll oder den Seed-Satz der gegnerischen Partei in einem traditionellen TAR-Workflow zu verlangen, ist es ebenso unangemessen, ohne konkreten Grund ausführliche Details über einen LLM-Technologie-Überprüfungsprozess zu verlangen. Zusammenarbeit ist entscheidend, um das Gleichgewicht zwischen Transparenz und strategischer Vertraulichkeit zu erkennen.

Während sich die Rechtsgemeinschaft an KI anpasst, wird ein gemeinsames Bekenntnis zu Fairness, Effizienz und Verteidigungsfähigkeit entscheidend für die Gestaltung der Zukunft von eDiscovery sein. Letztendlich beruht die Verteidigungsfähigkeit in eDiscovery, unabhängig davon, ob KI eingesetzt wird oder nicht, auf den Grundsätzen der Angemessenheit, Verhältnismäßigkeit und des guten Glaubens.

Die ursprüngliche, vollständige Version dieses Blogs befindet sich auf der Website von ACEDS und kann hier eingesehen werden.

Lilith Bat-Leah, Senior Director, AI Labs, Epiq
Lilith Bat-Leah verfügt über umfangreiche Erfahrung in der Verwaltung, Bereitstellung und Beratung im Bereich eDiscovery, einschließlich der Identifizierung, Aufbewahrung, Erfassung, Verarbeitung, Überprüfung, Analyse und Produktion digitaler Daten. Darüber hinaus hat sie Erfahrung in der Forschung und Entwicklung von eDiscovery-Software. Lilith nimmt regelmäßig an Verhandlungen rund um eDiscovery teil und hat als Sachverständige in nationalen und internationalen Gerichtsverfahren ausgesagt. Sie ist spezialisiert auf die Anwendung von Statistik, Analytik, maschinellem Lernen und Datenwissenschaft im Zusammenhang mit eDiscovery. Lilith schreibt und referiert zu verschiedenen Themen, darunter ESI-Protokolle, statistische Stichproben und technologiegestützte Überprüfung. Sie ist Co-Vorsitzende der DMLR-Arbeitsgruppe bei MLCommons, Beraterin der Common Crawl Foundation, Mitglied des Vorstands der ACEDS New York Chapter und Mitglied der Sedona Conference Working Groups 1 und 13. Lilith war außerdem Gründungsmitglied des Vorstands der ACEDS Chicago Chapter und Mitglied des EDRM Global Advisory Council. Sie ist Absolventin der Northwestern University mit magna cum laude.

Ronald J. Hedges, Geschäftsführer, Ronald J. Hedges LLC
Ron war über 20 Jahre lang als US-Richter im Bezirk New Jersey tätig. Er hält Vorträge und schreibt zu einer Vielzahl von Themen, von denen viele mit elektronischen Informationen zu tun haben, darunter Verfahrens- und materielles Strafrecht, Informationsmanagement, Prozessmanagement und die Integration neuer Technologien wie künstliche Intelligenz (KI) in bestehende Richtlinien und Verfahren zum Informationsmanagement. Er war Mitglied der KI-Arbeitsgruppen der Anwaltskammern der Bundesstaaten New Jersey und New York und ist nun Mitglied der ständigen KI-Ausschüsse beider Anwaltskammern. Ron ist außerdem Mitglied des Founders Circle des Georgetown Law Advanced eDiscovery Institute.