Advice
LLMs für agentenbasierte KI - Vertrauen und Erklärbarkeit
Legalweek 2025 Zusammenfassung der Sitzung
Was bedeutet es, KI zu vertrauen? Laut dem KI-Experten Ron Brachman bedeutet es, „wenn die Technologie im Laufe der Zeit ein konsistentes Verhalten zeigt“.
Vertrauen ist ein Eckpfeiler jeder erfolgreichen KI-Einführung. Ohne Vertrauen ist es unwahrscheinlich, dass Nutzer und Stakeholder KI-Technologien annehmen, unabhängig von ihren aktuellen und zukünftigen Vorteilen.
Da KI weiter voranschreitet, insbesondere mit dem Aufkommen von großen Sprachmodellen (LLMs) und agentenbasierter KI, bleibt das Thema Vertrauen ganz oben auf der Agenda und stand im Mittelpunkt der von Epiq präsentierten Legalweek 2025 Emerging Tech Session „LLMs to Agentic AI - Tackling Trust and Explainability“. Unter der Moderation von Alexis Mitchell, Director, Advanced Technologies bei Epiq, nahmen an der Sitzung die folgenden Diskussionsteilnehmer teil:
- Ron Brachman, Gastprofessor, Cornell University, und Distinguished Visiting Scientist, Schmidt Sciences
- Allison Kostecka, Partnerin bei Gibson Dunn
- Stephen Dooley, Direktor der Abteilung für elektronische Beweisführung und Unterstützung bei Rechtsstreitigkeiten, Sullivan & Cromwell
- Igor Labutov, Vizepräsident, Epiq AI Labs, Epiq
Über Halluzinationen hinausgehen
LLMs liefern glaubwürdige Antworten, sie können aber auch Ergebnisse liefern, die plausibel aussehen, aber subtile Fehler enthalten können, die oft als „Halluzinationen“ bezeichnet werden. Dies wurde in der Sitzung von Igor Labutov demonstriert, als er einen LLM bat, seinen Lebenslauf zu schreiben, und das System glaubhafte Zugehörigkeiten lieferte, die völlig erfunden waren. Während der Begriff Halluzination typischerweise mit LLMs assoziiert wird, sind diese Arten von Konfabulationsfehlern jedem maschinellen Lernmodell inhärent, und Juristen haben sich mit ihnen vertraut gemacht, als sie mit TAR oder anderen Überprüfungstechnologien der ersten Generation arbeiteten. Wie Labutov feststellte, „besteht die Herausforderung nun darin, Vertrauen in Arbeitsabläufe zu entwickeln, die mit komplexeren Modellen arbeiten, die in der Lage sind, narrative Antworten zu geben.“
Die Diskussion verlagerte sich dann zu den jüngsten Fortschritten der KI, den Reasoning-Modellen und der agentenbasierten KI. Reasoning-Modelle können ihre Ergebnisse reflektieren und so die Fehlerwahrscheinlichkeit verringern, haben aber immer noch ihre Grenzen bei der Aufnahme großer Dokumentensammlungen. Agentische KI ahmt menschliche Arbeitsabläufe nach, indem sie Werkzeuge einsetzt, um Aktionen und Rückmeldungen zur Verfeinerung der Antworten durchzuführen.
Es wurde betont, dass der Begriff der agentenbasierten KI sehr weit gefasst ist und ein KI-Agent kein monolithisches System ist, sondern ein komplexes System, das von einem Lösungsanbieter entwickelt wurde - der größte Teil des Systems ist nicht der KI-Teil, sondern der Gerüst- und Verbindungscode, der dem Agenten die Interaktion mit anderen Softwaresystemen ermöglicht. Diese Architektur bietet mehr Flexibilität, um die Einschränkungen von LLMs zu überwinden. Sie erschwert jedoch auch den Vergleich von agentenbasierten KI-Lösungen ohne ein klares Verständnis ihres internen Designs, das für eine angemessene Bewertung unerlässlich ist. Bei der Wahl zwischen verschiedenen Agentensystemen stellte Labutov fest, dass „obwohl es viele, viele verschiedene Modelle gibt, sie sich in ihren Architekturen grundsätzlich sehr ähnlich sind.“
Die häufigsten Herausforderungen für das Vertrauen
In dem Maße, in dem die Rechtsbranche versucht, fortschrittliche KI zu nutzen und Vertrauen in deren Einsatz aufzubauen, besteht ein Bedarf an branchenweiten Benchmarks und Zusammenarbeit, um Standards für die Bewertung von KI-Tools festzulegen. Die Diskussionsteilnehmer waren sich einig, dass einige der häufigsten „Vertrauensherausforderungen“, mit denen die Branche heute konfrontiert ist, ethische und professionelle Standards, Erklärbarkeit und Transparenz, Genauigkeit und Zuverlässigkeit sowie praktische operative Faktoren umfassen. Stephen Dooley betonte, dass Erklärbarkeit und Transparenz entscheidend sind, um nicht nur die Lösung, sondern auch den Arbeitsablauf zu verteidigen. Er betonte, wie wichtig es ist, über eine Lösung für die Historie und die Nachverfolgung zu verfügen, um zu verwalten, wie die Werkzeuge mit den Daten umgehen. Außerdem wies er auf die Notwendigkeit von Qualitätskontrollen hin, um die Genauigkeit und Zuverlässigkeit von KI-Modellen zu gewährleisten.
Eine weitere Herausforderung betrifft die Nutzer fortschrittlicher KI und die Gefahr, dass sie den von ihnen generierten Antworten zu viel Vertrauen schenken. Je weiter die KI voranschreitet und je mehr sich die Nutzer daran gewöhnen, chatbasierte KI-Tools bei ihrer täglichen Arbeit zu verwenden, desto schwieriger wird es, die Fehler in den Antworten zu erkennen. Allison Kostecka kommentiert: „Stellen Sie nicht nur eine Frage, sondern fünf. Vergleichen Sie die Antworten und validieren Sie sie auf unterschiedliche Weise“.
Kostecka merkte auch an, dass das Vertrauen bereits in den frühen Phasen der Evaluierung von KI-Technologie beginnt. Es beginnt damit, dass man in der Lage ist, Tools auf sichere Weise zu testen, um sicherzustellen, dass sie das tun, was sie tun sollen. Kostecka schlug vor, beim Testen eines neuen KI-Tools einen Benchmark-Datensatz zu erstellen, der in das Tool eingelesen und abgefragt werden kann, um die Fähigkeiten und Ergebnisse des Tools zu validieren. Kosteckas Team hat Benchmark-Datensätze zusammengestellt, die öffentlich verfügbare Daten im Zusammenhang mit dem jeweiligen Rechtsstreit verwenden.
Der Weg zu einer vertrauenswürdigen KI wird immer ein fortwährendes Unterfangen sein. Kontinuierliche Fortschritte bei den KI-Technologien müssen mit ständigen Bemühungen um mehr Transparenz, Verantwortlichkeit und ethische Standards einhergehen. Dooley fasst zusammen: „Vertrauen bezieht sich nicht nur auf die Technologie selbst, sondern auf das gesamte Ökosystem, das sie unterstützt, einschließlich der rechtlichen und ethischen Rahmenbedingungen, die ihre Nutzung regeln.“
Erfahren Sie mehr über die KI-Anwendungen von Epiq und die verschiedenen juristischen Anwendungsfälle, die sie unterstützen, wie z. B. Wissensmanagement, Vorbereitung von Zeugenaussagen und Gerichtsverhandlungen, Vertragslebenszyklusmanagement und Discovery.
Der Inhalt dieses Artikels dient lediglich der allgemeinen Information und stellt keine Rechtsberatung dar.
Subscribe to Future Blog Posts
