Récapitulatif de la session 2025 de la Legalweek

Que signifie faire confiance à l'IA ? Selon Ron Brachman, expert en IA, « c'est lorsque la technologie fait preuve d'un comportement cohérent au fil du temps ».

La confiance est la pierre angulaire de tout déploiement réussi de l'IA. Sans confiance, il est peu probable que les utilisateurs et les parties prenantes adoptent les technologies de l'IA, quels que soient leurs avantages actuels et futurs.

Alors que l'IA continue de progresser, en particulier avec l'avènement des grands modèles de langage (LLM) et de l'IA agentique, la confiance reste une priorité et a été au centre de la session Legalweek 2025 Emerging Tech présentée par Epiq, « LLMs to Agentic AI - Tackling Trust and Explainability » (des LLM à l'IA agentique - aborder la confiance et l'explicabilité). Animée par Alexis Mitchell, directeur des technologies avancées chez Epiq, la session a réuni les intervenants suivants :     

• Ron Brachman, professeur invité, Université de Cornell, et scientifique invité distingué, Schmidt Sciences
• Allison Kostecka, associée chez Gibson Dunn
• Stephen Dooley, directeur de la découverte électronique et du soutien aux litiges, Sullivan & Cromwell
• Igor Labutov, vice-président, Epiq AI Labs, Epiq

Dépasser les hallucinations

Les LLM fournissent des réponses crédibles, mais ils peuvent également produire des résultats qui semblent plausibles, mais qui peuvent contenir des erreurs subtiles, souvent appelées « hallucinations ». Igor Labutov l'a démontré lors de la session en demandant à un LLM de rédiger sa biographie, et le système a produit des affiliations crédibles qui étaient totalement inventées. Bien que le terme « hallucination » soit typiquement associé aux LLM, ce type d'erreurs de confabulation est inhérent à tout modèle d'apprentissage automatique, et les professionnels du droit y sont habitués lorsqu'ils travaillent avec TAR ou d'autres technologies d'examen de première génération. Comme l'a déclaré M. Labutov, « le défi consiste maintenant à développer la confiance dans les flux de travail qui traitent des modèles plus complexes capables de fournir des réponses narratives ».

La discussion a ensuite porté sur les progrès récents de l'IA, les modèles de raisonnement et l'IA agentique. Les modèles de raisonnement peuvent réfléchir à leurs résultats, ce qui réduit le risque d'erreurs, mais ils restent limités dans l'ingestion de grandes collections de documents. L'IA agentique imite les flux de travail humains en utilisant des outils pour prendre des mesures et un retour d'information pour affiner les réponses.

Il a été souligné que l'IA agentique est un terme large et qu'un agent d'IA n'est pas monolithique, mais plutôt un système complexe conçu par un fournisseur de solutions - la majeure partie du système n'est pas la partie IA, mais plutôt l'échafaudage et le code de connexion qui permet à l'agent d'interagir avec d'autres systèmes logiciels. Cette architecture offre une plus grande flexibilité pour répondre aux limites des LLM. Cependant, elle rend également les solutions d'IA agentique difficiles à comparer sans une compréhension claire de leur conception interne, ce qui est essentiel pour une évaluation correcte. Lorsqu'il s'agit de choisir entre différents systèmes d'agents, M. Labutov fait remarquer que « bien qu'il existe de très nombreux modèles différents, ils sont tous fondamentalement très similaires dans leurs architectures ».
 

Les défis les plus courants en matière de confiance

Alors que le secteur juridique cherche à adopter l'IA avancée et à instaurer la confiance dans son utilisation, il est nécessaire d'établir des repères et une collaboration à l'échelle du secteur pour définir des normes d'évaluation des outils d'IA. Le panel a convenu que certains des « défis de confiance » les plus courants auxquels l'industrie est confrontée aujourd'hui comprennent les normes éthiques et professionnelles, l'explicabilité et la transparence, la précision et la fiabilité, ainsi que les facteurs opérationnels pratiques. Stephen Dooley a souligné que l'explicabilité et la transparence sont essentielles pour défendre non seulement la solution, mais aussi le flux de travail. Il a souligné l'importance de disposer d'une solution d'historique et de suivi pour gérer la manière dont les outils traitent les données. En outre, il a souligné la nécessité d'effectuer des contrôles de qualité pour garantir l'exactitude et la fiabilité des modèles d'IA.

Un autre défi concerne les utilisateurs de l'IA avancée et la possibilité d'accorder trop de confiance aux réponses qu'ils génèrent. À mesure que l'IA continue de progresser et que les utilisateurs s'habituent à utiliser des outils d'IA basés sur le chat dans leur travail quotidien, les failles dans les réponses deviennent de plus en plus difficiles à détecter. Allison Kostecka a déclaré : « Ne vous contentez pas de poser une question, posez-en cinq. Comparez les réponses et validez-les de différentes manières. »

Mme Kostecka a également indiqué que la confiance commence dès les premiers stades de l'évaluation de la technologie de l'IA. Elle commence par la possibilité de tester les outils en toute sécurité pour s'assurer qu'ils font ce qu'ils sont censés faire. Mme Kostecka a suggéré que, lors de l'essai d'un nouvel outil d'IA, la meilleure pratique consiste à compiler un ensemble de données de référence qui peuvent être intégrées dans l'outil et interrogées pour valider les capacités et les résultats de l'outil. L'équipe de Mme Kostecka a compilé des ensembles de données de référence en utilisant des données publiques liées au litige en question.

Le cheminement vers une IA digne de confiance sera toujours une quête permanente. Les progrès constants des technologies de l'IA doivent s'accompagner d'efforts continus pour améliorer la transparence, la responsabilité et les normes éthiques. Comme le résume M. Dooley, « la confiance ne concerne pas seulement la technologie elle-même ; elle concerne l'ensemble de l'écosystème qui la soutient, y compris les cadres juridiques et éthiques qui régissent son utilisation ».

Pour en savoir plus sur les applications IA d'Epiq et la gamme de cas d'utilisation juridique qu'elles prennent en charge, notamment la gestion des connaissances, la préparation des dépositions et des procès, la gestion du cycle de vie des contrats et la recherche de preuves.