Recapitulação da sessão da Legalweek 2025

O que significa confiar na IA? De acordo com o especialista em IA Ron Brachman, “é quando a tecnologia demonstra um comportamento consistente ao longo do tempo”.

A confiança é a pedra angular de qualquer implementação bem-sucedida de IA. Sem confiança, é improvável que os usuários e as partes interessadas adotem as tecnologias de IA, independentemente de seus benefícios atuais e futuros.

À medida que a IA continua avançando, particularmente com o advento de grandes modelos de linguagem (LLMs) e IA Agêntica, a confiança continua sendo uma prioridade e foi o foco da sessão Legalweek 2025 Emerging Tech apresentada pela Epiq, “LLMs to Agentic AI - Tackling Trust and Explainability”. Moderada por Alexis Mitchell, Diretor de Tecnologias Avançadas da Epiq, a sessão contou com os seguintes painelistas:      

• Ron Brachman, professor visitante da Cornell University e cientista visitante ilustre da Schmidt Sciences      
• Allison Kostecka, sócia da Gibson Dunn     
• Stephen Dooley, Diretor de Descoberta Eletrônica e Suporte a Litígios, Sullivan & Cromwell    
• Igor Labutov, vice-presidente do Epiq AI Labs, Epiq

Indo além das alucinações

Os LLMs fornecem respostas confiáveis, mas também podem produzir resultados que parecem plausíveis, mas que podem conter erros sutis, geralmente chamados de “alucinações”. Isso foi demonstrado na sessão por Igor Labutov, quando ele pediu a um LLM que escrevesse sua biografia e o sistema produziu afiliações críveis que eram totalmente inventadas. Embora o termo alucinação seja normalmente associado aos LLMs, esses tipos de erros de confabulação são inerentes a qualquer modelo de aprendizado de máquina, e os profissionais da área jurídica se familiarizaram com eles ao trabalhar com TAR ou outras tecnologias de revisão de primeira geração. Como Labutov afirmou, “o desafio agora é desenvolver confiança e segurança em fluxos de trabalho que lidam com modelos mais complexos capazes de fornecer respostas narrativas”.

Em seguida, a discussão passou para os avanços recentes da IA, modelos de raciocínio e IA agêntica. Os modelos de raciocínio podem refletir sobre seus resultados, reduzindo a chance de erros, mas ainda têm limitações na ingestão de grandes coleções de documentos. A Agentic AI imita os fluxos de trabalho humanos usando ferramentas para realizar ações e feedback para refinar as respostas.

Foi enfatizado que a IA agêntica é um termo amplo e que um agente de IA não é monolítico, mas sim um sistema complexo projetado por um provedor de soluções - a maior parte do sistema não é a parte da IA, mas sim o código de andaimes e de conexão que permite que o agente interaja com outros sistemas de software. Essa arquitetura oferece maior flexibilidade para lidar com as limitações dos LLMs. No entanto, ela também dificulta a comparação de soluções de IA autêntica sem uma compreensão clara de seu design interno, o que é essencial para uma avaliação adequada. Ao escolher entre diferentes sistemas de agentes, Labutov observou que, “embora existam muitos, muitos modelos diferentes, todos eles são fundamentalmente muito semelhantes em suas arquiteturas”.
 

Os desafios de confiança mais comuns

À medida que o setor jurídico procura adotar a IA avançada e criar confiança em seu uso, há uma necessidade de benchmarks e colaboração em todo o setor para estabelecer padrões para avaliar as ferramentas de IA. O painel concordou que alguns dos “desafios de confiança” mais comuns que o setor enfrenta atualmente incluem padrões éticos e profissionais, explicabilidade e transparência, precisão e confiabilidade e fatores operacionais práticos. Stephen Dooley enfatizou que a explicabilidade e a transparência são cruciais para defender não apenas a solução, mas também o fluxo de trabalho. Ele ressaltou a importância de ter uma solução de histórico e rastreamento para gerenciar como as ferramentas lidam com os dados. Além disso, ele destacou a necessidade de verificações de controle de qualidade para garantir a precisão e a confiabilidade dos modelos de IA.

Outro desafio diz respeito aos usuários de IA avançada e ao potencial de confiar demais nas respostas que eles estão gerando. Como a IA continua avançando e os usuários estão mais acostumados a usar ferramentas de IA baseadas em bate-papo em seu trabalho diário, as falhas nas respostas estão se tornando mais difíceis de detectar. Allison Kostecka comentou: "Não faça apenas uma pergunta, faça cinco. Compare as respostas e valide-as de maneiras diferentes."

Kostecka também comentou que a confiança começa nos estágios iniciais da avaliação da tecnologia de IA. Ela começa com a capacidade de testar ferramentas de forma segura para garantir que elas façam o que devem fazer. Kostecka sugeriu que, ao testar uma nova ferramenta de IA, é uma prática recomendada compilar um conjunto de dados de referência que possa ser ingerido na ferramenta e interrogado para validar os recursos e os resultados da ferramenta. A equipe de Kostecka compilou conjuntos de dados de referência usando dados publicamente disponíveis relacionados ao litígio em questão.

A jornada rumo a uma IA confiável será sempre uma busca contínua. Os avanços contínuos nas tecnologias de IA devem ser acompanhados por esforços contínuos para aumentar a transparência, a responsabilidade e os padrões éticos. Como resumiu Dooley, “a confiança não se refere apenas à tecnologia em si; trata-se de todo o ecossistema que a suporta, incluindo as estruturas legais e éticas que regem seu uso”.

Saiba mais sobre os aplicativos de IA da Epiq e a variedade de casos de uso jurídico que eles suportam, incluindo gerenciamento de conhecimento, preparação de depoimentos e julgamentos, gerenciamento do ciclo de vida de contratos e descoberta.