소송 변호사들은 기술 지원 검토(TAR)를 실무에서 사용한 적이 있거나 이 기술에 대해 최소한의 이해를 가지고 있는 것이 확실합니다. TAR 솔루션은 기계 학습 알고리즘을 사용하여 대량의 전자 문서를 분류합니다. TAR는 변호사들이 문서 검토에 소요되는 시간과 비용을 줄이는 데 도움을 주며, 그들의 결정의 정확성과 일관성을 향상시킬 수 있습니다. 이 기술은 여러 해 동안 사용되어 왔으며, 이 기술이 성숙해짐에 따라 최상의 실천 방법들이 지속적으로 발전하고 있습니다.

고려해야 할 중요한 분야 중 하나는 문서 패밀리를 검토하는 방법입니다. 모든 문서가 동일한 가치를 가진 것은 아니며, 일부 문서는 검토 요청을 준수하기 위해 패밀리로 제출되어야 할 수 있습니다. 이러한 문서 패밀리는 메타데이터, 내용 또는 관련성과 같은 공통 특성을 공유합니다. 문서 패밀리를 함께 검토하는 것은 논리적이고 효율적인 실천 방법으로 보일 수 있지만, 필요하지 않은 검토를 통해 타임라인을 연장하고 동시에 문제와 위험을 도입할 수 있습니다.

다음은 변호사 팀이 문서 패밀리를 분리하고 TAR 워크플로우에서 별도의 검토를 수행하는 것을 고려해야 하는 이유 세 가지입니다:

#1: 편견과 오염 회피

문서 패밀리를 함께 검토하면 TAR 모델에 편견과 오염이 발생할 수 있습니다. 하나의 문서에 있는 정보가 패밀리 구성원의 코딩에 영향을 미칠 수 있으며, 리뷰어는 품질 높은 TAR 모델을 구축하기 위해 이를 피해야 합니다. 이러한 패밀리를 분리하면 각 문서가 고유한 가치에 따라 독립적으로 평가되므로 이러한 문제를 피할 수 있습니다. 이를 종종 "Four Corners Rule"이라고 합니다.

#2: 효율성과 품질 향상

문서를 별도로 검토하면 검토 프로세스의 효율성과 품질이 향상될 수 있습니다. TAR 2.0 워크플로우는 리뷰어가 코딩하는 동안 문서를 분류하고 우선순위를 정할 수 있으며, 계속해서 가장 관련성 높은 문서를 상위에 배치하여 검토할 수 있습니다. 관련성이 높을 것으로 예상되는 문서만 검토함으로써 솔루션은 빠르게 더 많은 관련 문서를 찾을 수 있습니다. 또한 검토를 위해 우선순위가 매겨진 문서가 모두 관련성이 있는 것은 아니므로, 패밀리를 분리하면 완전히 무관한 패밀리를 검토하는 불필요하고 비용이 많이 드는 작업을 줄일 수 있습니다. 문서 패밀리를 분리함으로써 TAR 도구와 워크플로우를 더 효과적으로 활용하고 데이터셋에서 소음을 줄이고 신호를 증가시키는 데 도움이 되어 더 나은 효율적인 TAR 모델을 얻을 수 있습니다.

#3: 속도 증가와 회수율 유지

Big Data의 2018년 연구에 따르면 문서 패밀리를 분리하면 함께 검토하는 것보다 빠른 검토 속도와 더 높은 검토 정확도를 얻을 수 있었습니다. 이 연구는 또한 문서 패밀리를 분리하는 것이 회수율에 크게 영향을 미치지 않았음을 발견했습니다 (Jeremy Pickens, Thomas C. Gricks, Esq., Andrew Bye, Break up the Family: Protocols for Efficient Recall-Oriented Retrieval Under Legally-Necessitated Dual Constraints, 2018 IEEE Int’l Conf. on Big Data (Big Data), 3302).

뿐만 아니라, 산업 연구는 선형 검토가 회수율에 대한 금속 표준을 나타내지 않는다는 개념을 지지하지 않습니다. Anne Kershaw의 2005년 연구에 따르면 컴퓨터 시스템은 관련 문서의 95%를 식별하였으나 인간 팀은 51%만 식별했습니다 (Anne Kershaw, Automated Document Review Proves Its Reliability). http://www.akershaw.com/Documents/2004AEKDocReviewArticle.pdf Accessed 3/20/2023). 다른 연구 결과에 따르면 최고의 인간 리뷰어들이 서로 동의하는 비율인 65% 정밀도와 65% 회수율을 달성할 수 있는 것으로 나타났습니다 (예: Maura R. Grossman & Gordon V. Cormack, Technology-Assisted Review in E-Discovery Can Be More Effective and More Efficient Than Exhaustive Manual Review, XVII RICH. J.L. & TECH. 11 (2011), 10-15쪽 (인간 리뷰에 대한 최근 연구를 요약하며 최대 65% 회수율 (Voorhees 2000) 및 52.8% - 83.6% 회수율 (Roitblat, Kershaw, & Oot 2010) 결과를 인용함).

요약하면, 문서 패밀리를 분리하는 것은 eDiscovery의 TAR 워크플로우에 대한 최상의 실천 방법으로 부각되었습니다. 이를 통해 TAR 모델의 편견과 오염을 피할 수 있으며, 검토 프로세스의 효율성과 품질을 향상시킬 수 있으며 변호사와 클라이언트의 시간과 비용을 절약할 수 있습니다. 또한 최소한 전체적인 인간 리뷰와 비슷한 효과를 제공하며 종종 훨씬 더 정확합니다. 변호사 팀은 법률 기술과 창의적인 솔루션이 이 산업에 진입함에 따라 TAR 영역에서의 최상의 실천 방법을 모니터링하는 것을 고려해야 합니다.

By: Stephen Tryon, Epiq Salt Lake City 사무소의 고급 기술 컨설턴트입니다. 그는 5년간 고급 분석 기술과 인공 지능 모델을 사용하여 더 효율적인 eDiscovery 검토를 위한 워크플로우를 개발한 경험이 있습니다. Stephen은 세계적인 법률 사무실과 기업들과 협력하여 점점 커지는 데이터 경제에 따라 발생하는 과제에 대한 워크플로우와 솔루션을 개발하는 데 기여하였으며, 소비자 대상 AI 소프트웨어 제공에 대한 컨설팅 역할도 수행했습니다.