No eDiscovery, garantir a precisão e a defensabilidade da revisão de documentos é fundamental, especialmente quando as produções são compartilhadas com partes adversárias ou reguladores. O Epiq AI Discovery Assistant™ traz rigor estatístico a esse processo, permitindo a validação por meio de métricas de avaliação padrão: recall, precisão e elusão.

• A recuperação mede quantos documentos relevantes foram corretamente identificados entre todos os documentos relevantes possíveis.
• A precisão avalia quantos documentos identificados como relevantes eram realmente relevantes.
• A elusão estima quantos documentos relevantes podem existir no conjunto considerado irrelevante.

Essas métricas, baseadas em amostragem aleatória, permitem uma maneira transparente e estatisticamente sólida de avaliar a eficácia da revisão de documentos com o apoio da IA.

Quando validar

A validação é mais importante quando se produzem documentos para terceiros. Seja para um órgão regulador ou para a parte contrária, é essencial demonstrar a confiabilidade do seu processo de revisão. Para investigações internas ou produções recebidas, a validação é opcional, mas ainda assim benéfica. A capacidade de estimar a recuperação, a precisão, a elusão e a riqueza com intervalos de confiança garante a defensabilidade e a transparência.

O que medir

O Epiq AI Discovery Assistant™ vai além da simples identificação das classificações Responsivo ou Não Responsivo. Ele também oferece suporte à marcação de problemas e à detecção de privilégios. O sistema inclui métricas integradas de recall e precisão para cada marcação de problema, aproveitando a validação cruzada k-fold e códigos de revisão.

No entanto, isso não é o mesmo que um conjunto de controle e só deve ser usado para orientar considerações sobre o fluxo de trabalho.

A validação das categorias “Responsivo” e “Não responsivo” em geral é uma prática recomendada. As orientações integradas para cada tag podem ajudar a determinar os limites de pontuação adequados, mas para determinar a eficácia da produção geral, a Epiq recomenda validar as determinações gerais de “Responsivo” e “Não responsivo”.

Conjunto de controle: a base para a validação

Um conjunto de controle de 500 documentos geralmente oferece uma cobertura razoável. Para conjuntos de dados menos ricos ou para níveis de confiança mais altos, conjuntos de controle maiores podem ser selecionados.

O conjunto de controle é selecionado aleatoriamente da coleção, e a codificação não é usada para treinar o modelo. Os documentos do conjunto de controle são separados do treinamento e usados apenas para validação.

Amostragem de prevalência: insights iniciais

No início de uma revisão, uma pequena amostra aleatória, conhecida como amostra de prevalência, é usada para estimar a proporção de documentos responsivos no conjunto de dados. Isso pode ser útil para determinar os tipos de documentos e questões que podem surgir da coleta, bem como para planejar atividades posteriores. Por exemplo, se uma revisão de segundo nível estiver planejada para documentos identificados como responsivos, uma amostra de prevalência fornece uma indicação inicial de quantos documentos responsivos serão encontrados. É uma etapa estratégica que informa a alocação de recursos e as expectativas de cronograma.

Amostra de omissão: garantia final

No final do fluxo de trabalho de revisão, uma etapa crítica é uma amostra aleatória de documentos identificados como não responsivos e que não estão sendo produzidos. Uma amostra de omissão é uma amostra aleatória que identifica a porcentagem de documentos relevantes que foram ignorados; é uma ferramenta poderosa em investigações internas e produções recebidas, nas quais a equipe deseja ter a garantia de que nada importante foi perdido. As amostras de omissão também permitem estimar a recuperação quando todos os documentos relevantes previstos foram revisados.

Facilidade de uso na interface do Epiq AI Discovery Assistant™

A configuração e execução de conjuntos de amostras com o Epiq AI Discovery Assistant™ foi projetada para ser simples. Os usuários iniciam amostras de controle, prevalência e elusão diretamente por meio de fluxos de trabalho guiados. Cada etapa inclui dicas de ferramentas e recomendações integradas, permitindo que os profissionais jurídicos configurem parâmetros de amostragem sem a necessidade de conhecimento estatístico. Esse processo simplificado ajuda as equipes jurídicas a validar conjuntos de documentos com mais rapidez e confiança.

Conclusão

Essas métricas estabelecidas e bem compreendidas para validar os resultados da descoberta também são recomendadas e integradas ao processo Epiq AI Discovery Assistant™. Identificar os intervalos de confiança de precisão, recuperação e elusão para relevância dá a todas as partes a garantia da eficácia do método e do resultado.
Embora o Epiq AI Discovery Assistant™ ofereça recursos avançados, a ênfase continua sendo capacitar os profissionais jurídicos — não substituí-los. Ao combinar a experiência humana com os insights da IA, os departamentos jurídicos e escritórios de advocacia podem otimizar seus processos de revisão de documentos e atender aos mais altos padrões de precisão e responsabilidade.

Jon Lavinder, Diretor Sênior de Gestão de Produtos, Epiq
Responsável pelas ferramentas de IA, Revisão Assistida por Tecnologia (TAR), chat e dados colaborativos, e tecnologias de Avaliação Precoce de Casos (ECA), Jon trabalha em estreita colaboração com escritórios de advocacia e profissionais jurídicos corporativos para criar ferramentas e serviços para a próxima geração de descoberta jurídica e governança de informações. O Sr. Lavinder é palestrante frequente em conferências sobre eDiscovery sobre o uso da IA e o futuro do setor.