O uso da IA no eDiscovery traz oportunidades e desafios, principalmente quando se trata de defensabilidade. Os profissionais do direito precisam estar preparados para justificar o uso de ferramentas de IA tanto em condições ideais quanto adversas. A análise dos melhores e piores cenários fornece uma estrutura para revisar a defensabilidade da IA. Em circunstâncias favoráveis, a IA é considerada igual aos revisores humanos, permitindo fluxos de trabalho eficientes e confidenciais. Em situações mais controversas, a parte produtora pode enfrentar escrutínio e exigências de transparência. É crucial considerar como é a cooperação prática entre as partes, enfatizando a importância da razoabilidade, transparência e adesão aos princípios estabelecidos.

O que todos os fluxos de trabalho de eDiscovery têm em comum

As discussões preliminares são um requisito em litígios e são essenciais para garantir que ambas as partes compreendam os parâmetros da descoberta e levantem questões antecipadamente.

As discussões devem abranger as fontes e os formatos das informações armazenadas eletronicamente (ESI), os métodos de preservação e coleta de dados e os protocolos de pesquisa e revisão. Abordar esses tópicos de forma proativa ajuda a garantir que a descoberta seja conduzida de maneira razoável, proporcional e defensável, ao mesmo tempo em que minimiza o risco de disputas ou sanções posteriormente no caso.

Outra semelhança é o potencial para erros na revisão manual ou assistida por tecnologia (TAR). Os riscos exigem medidas de controle de qualidade e documentação. A presença de erros não compromete a defensabilidade de um fluxo de trabalho; o que importa é se o processo geral foi razoável e proporcional.

As taxas de precisão, recuperação e evasão são aplicáveis a todas essas metodologias. A consistência permite que os tribunais e as partes avaliem um processo de revisão sem preconceitos em relação à tecnologia utilizada. O segredo é a transparência e a capacidade de demonstrar um projeto e uma execução bem pensados.

Melhor cenário: revisão facilitada por IA mantida no mesmo padrão da revisão humana

No melhor cenário, a revisão por IA tem o mesmo nível de confiança e escrutínio que a revisão humana tradicional. Essa abordagem está alinhada com o Princípio 6 de Sedona, que afirma que a parte produtora está em melhor posição para determinar as tecnologias e métodos apropriados para sua produção.

Não há exigência de divulgar métricas de avaliação, como precisão e recall, embora seja recomendável calculá-las. Assim como na revisão humana, a ausência de métricas compartilhadas não implica falta de rigor, apenas que a parte produtora não é obrigada a expor suas medidas internas de controle de qualidade, a menos que seja alegada uma deficiência.

No entanto, o uso da IA para fins de pesquisa de documentos e designação para preservação é arriscado, seja divulgado ao advogado da parte contrária ou não. A IA pode ser útil na identificação de custodiantes e armazenamentos de dados sujeitos a retenção legal, desde que não seja aplicada nenhuma filtragem além dos intervalos de datas. Se, por qualquer motivo, houver perda de ESI que deveria estar sujeita a retenção legal, a parte produtora deve demonstrar que tomou medidas razoáveis para evitar a perda.

Pior cenário: o uso da IA é examinado de todas as formas possíveis

No pior cenário, a parte contrária questiona a adequação da produção e exige total transparência no processo de revisão da IA. Isso inclui solicitações para divulgar as instruções usadas para orientar a IA, sob o argumento de que essas instruções influenciam o escopo e a natureza da revisão. Embora esse nível de escrutínio seja incomum, ele pode surgir em litígios de alto risco ou quando há um histórico de disputas de descoberta.

A parte produtora também pode enfrentar exigências para divulgar todas as etapas do fluxo de trabalho, incluindo pré-processamento, filtragem e validação pós-revisão. O ônus de tal divulgação pode afetar os prazos e arriscar a exposição potencial de informações privilegiadas.

Outra exigência é o acesso ao “processo de raciocínio ou tomada de decisão da IA”. Embora isso possa ser inviável, dada a natureza opaca dos grandes modelos de linguagem (LLMs), muitas ferramentas registram a cadeia de pensamentos “raciocínio” produzida pelo LLM subjacente em uso. Em última análise, os tribunais podem equilibrar a necessidade de transparência da parte requerente com o direito da parte produtora de manter a confidencialidade sobre suas ferramentas e métodos.

O advogado da parte contrária também poderia argumentar que a IA pode ter preconceitos que distorcem os resultados da revisão. Nesses casos, a parte produtora pode precisar demonstrar que foram tomadas medidas para avaliar e mitigar o preconceito, mesmo que tais avaliações não sejam normalmente exigidas na revisão humana.

Embora essas exigências possam ser onerosas, elas ressaltam a importância de manter uma documentação completa e estar preparado para defender o processo se ele for contestado.

Em todas as etapas da descoberta, é fundamental manter trilhas de auditoria que documentem todas as ações realizadas. Se surgirem dúvidas sobre a integridade do processo, uma trilha de auditoria bem mantida fornece evidências de que os procedimentos apropriados foram seguidos.

Avaliação com métricas estabelecidas

A avaliação do processo de revisão no eDiscovery requer a aplicação de métricas estabelecidas para garantir que seja eficaz e defensável. Três das métricas mais importantes são estimativas imparciais de recuperação, precisão e elusão para a população de revisão. Essas três métricas devem ser usadas para avaliar qualquer fluxo de trabalho de revisão, seja ele assistido por tecnologia ou não.

Na prática: como é a cooperação?

A cooperação entre as partes é essencial para evitar disputas e atrasos. Para a parte produtora, isso significa ser transparente sobre o uso da tecnologia LLM. Compartilhar informações de alto nível sobre a tecnologia utilizada e as métricas de avaliação obtidas pode ajudar a construir confiança e evitar conflitos.

Ao mesmo tempo, a parte solicitante deve agir de forma razoável. Assim como seria inadequado exigir o protocolo de revisão ou o conjunto de sementes da parte contrária em um fluxo de trabalho TAR tradicional, é igualmente irracional exigir detalhes exaustivos sobre um processo de revisão da tecnologia LLM sem uma base específica para preocupação. A cooperação é fundamental para reconhecer o equilíbrio entre transparência e confidencialidade estratégica.

À medida que a comunidade jurídica se adapta à IA, um compromisso comum com a equidade, a eficiência e a defensabilidade será fundamental para moldar o futuro do eDiscovery. Em última análise, a defensabilidade no eDiscovery, com ou sem o uso de IA, baseia-se nos princípios da razoabilidade, proporcionalidade e boa-fé.

A versão original e completa deste blog está no site da ACEDS e pode ser vista aqui.

Lilith Bat-Leah, Diretora Sênior, Laboratórios de IA, Epiq
Lilith Bat-Leah tem ampla experiência em gerenciamento, entrega e consultoria em eDiscovery, incluindo identificação, preservação, coleta, processamento, revisão, análise e produção de dados digitais. Ela também tem experiência em pesquisa e desenvolvimento de software de eDiscovery. Lilith participa regularmente de negociações relacionadas ao eDiscovery e já prestou depoimentos como especialista em processos judiciais nacionais e internacionais. Ela é especialista na aplicação de estatística, análise, aprendizado de máquina e ciência de dados no contexto do eDiscovery. Lilith escreve e dá palestras sobre vários tópicos, incluindo protocolos ESI, amostragem estatística e revisão assistida por tecnologia. Ela copreside o grupo de trabalho DMLR com a MLCommons, atua como consultora da Common Crawl Foundation, faz parte do conselho da ACEDS New York Chapter e é membro dos Grupos de Trabalho 1 e 13 da Sedona Conference. Lilith também foi membro fundadora do conselho da ACEDS Chicago Chapter e atuou no EDRM Global Advisory Council. Ela se formou com honras pela Northwestern University.

Ronald J. Hedges, Diretor, Ronald J. Hedges LLC
Ron atuou como juiz federal nos Estados Unidos, no distrito de Nova Jersey, por mais de 20 anos. Ele fala e escreve sobre diversos temas, muitos dos quais relacionados a informações eletrônicas, incluindo direito penal processual e substantivo, governança da informação, gestão de litígios e integração de novas tecnologias, como inteligência artificial (IA), às políticas e procedimentos existentes de governança da informação. Ele foi membro das forças-tarefa de IA das ordens dos advogados dos estados de Nova Jersey e Nova York e agora é membro dos comitês permanentes de IA de ambas as ordens. Ron também é membro do Círculo de Fundadores do Instituto Avançado de eDiscovery da Faculdade de Direito de Georgetown.