Skip to Content (custom)

Advice

Rope tied in a knot

‌AI防御性考量:最佳与最坏情景分析

  • eDiscovery
  • 3 Mins

人工智能在电子证据开示中的应用既带来机遇,也引发挑战,尤其在‌抗辩性‌方面。法律从业者需在理想与对抗性条件下,为AI工具的使用提供合理依据。通过分析‌最佳与最坏情景‌,可构建评估AI抗辩性的框架。在有利情况下,AI被视为与人工审查无异,能够实现高效且保密的流程;而在争议性场景中,数据提供方可能面临透明度质疑与额外审查要求。各方需明确‌实际协作的可行模式‌,强调合理性、透明度及对既有原则的遵循,这一点至关重要。

电子证据开示工作流的共性要素‌

诉讼中的‌协商会议‌(Meet-and-confer)是法定要求,其核心在于确保双方明确证据开示的边界,并尽早提出争议点。

讨论内容应涵盖电子存储信息(ESI)的‌来源与格式‌、数据保存与收集方法,以及检索与审查流程。主动协商这些议题,既能确保证据开示过程‌合理、比例得当且具备抗辩性‌,也能最大限度降低案件后期引发争议或处罚的风险。

另一共性‌在于人工或技术辅助审查(TAR)中可能存在的错误风险。此类风险需通过‌质量控制措施‌和‌文档记录‌来应对。错误的存在本身不会削弱工作流程的抗辩性,关键在于整体过程是否‌合理且比例得当‌。

精确率、召回率与遗漏率‌是评估各类方法的核心指标。通过统一标准,法院与各方得以‌技术中立‌地评估审查流程。而透明性及‌可验证的流程设计与执行‌才是关键。

最佳情景:AI辅助审查与人工审查适用同等标准‌

在理想情况下,AI审查应与传统人工审查获得同等程度的信任与严格审视。这一做法符合《塞多纳原则》第6条—‌产出方最适合自主决定其数据输出的技术与方法‌。

尽管建议计算精确率、召回率等评估指标,但法律并未强制要求披露此类数据。正如人工审查无需共享指标一样,未公开评估标准并不代表流程缺乏严谨性,仅说明‌除非存在缺陷指控,否则产出方无义务公开内部质量控制措施‌。

然而,无论是否向对方律师披露,使用AI进行文件检索及保全标记都存在风险‌。AI在识别需实施法律保全的保管人及数据存储库时可能发挥积极作用,但前提是‌仅限时间范围筛选‌,不得进行其他过滤。若本应保全的电子存储信息(ESI)因任何原因丢失,‌产出方必须证明已采取合理措施避免损失‌。

最坏情景:AI应用面临全方位审查‌

在最不利情况下,对方可能质疑产出充分性,并要求‌完全公开AI审查流程‌,包括以“提示词影响审查范围与性质”为由,要求披露引导AI使用的具体提示词。尽管此类严苛审查较为罕见,但在‌高风险诉讼‌或存在‌证据开示争议史‌的案件中仍可能发生。

产出方还可能被要求披露工作流程的‌每个环节‌,包括预处理、过滤及审查后验证。此类披露义务不仅可能拖延时间线,还存在‌暴露保密信息‌的风险。

另一项要求是获取“AI的推理或决策过程”。‌ 鉴于大语言模型(LLMs)的不透明特性,这一要求可能难以实现,但许多工具会记录底层LLM输出的“思维链”推理内容。最终,法院可能需要在‌请求方的透明度需求‌与‌产出方的工具/方法保密权‌之间寻求平衡。

对方律师还可能主张AI存在‌偏见‌,导致审查结果失真。在此类情况下,产出方可能需要证明已采取‌偏见评估与缓解措施‌—即使人工审查通常无需此类评估。

尽管这些要求可能构成负担,但它们凸显了‌完善文档记录‌和‌应对挑战准备‌的重要性。在证据开示全流程中,必须建立‌审计追踪机制‌,完整记录每个操作步骤。若对流程完整性提出质疑,完善的审计追踪将成为‌遵循适当程序‌的关键证据。

使用既定指标进行评估‌

电子证据开示中的审查流程评估需通过‌既定指标‌验证其有效性及可抗辩性。审查流程的评估需基于‌召回率(recall)、精确率(precision)和遗漏率(elusion)‌的无偏估计值。无论是否采用技术辅助手段,这些指标均应用于‌所有审查工作流‌的评估。

实践中的合作:具体如何实现?‌

各方合作对避免争议和延误至关重要。对‌数据提供方‌而言,这意味着需‌透明披露LLM技术的使用情况‌—分享技术应用概况及评估指标结果,有助于建立信任并减少冲突。

同时,‌数据请求方‌也需保持合理态度。正如在传统TAR(技术辅助审查)流程中,要求对方提供审查方案或种子集(seed set)是不合理的;同样,若无具体依据,要求LLM技术审查流程的详尽细节也缺乏正当性。合作的核心在于‌平衡透明度与战略保密性‌。

随着法律界适应AI时代,对‌公平性、效率及可抗辩性‌的共同承诺,将决定电子证据开示的未来走向。归根结底,无论是否使用AI,电子证据开示的可抗辩性始终建立在‌合理性、比例原则和诚信原则‌之上。

本文完整版发布于ACEDS 官网:

Lilith Bat-Leah

‌Lilith Bat-Leah ‌Epiq公司人工智能实验室高级总监‌
Lilith在电子证据开示领域拥有丰富经验,涵盖数字数据的‌识别、保存、收集、处理、审查、分析和提交‌全流程管理,并曾主导电子证据开示软件的研发工作。她深度参与国内外电子证据开示谈判,多次在‌国内外法庭诉讼中提供专家证词‌,擅长将‌统计学、分析学、机器学习及数据科学‌应用于电子证据开示场景。 作为行业意见领袖,她长期撰写并发表关于‌ESI协议、统计抽样、技术辅助审查(TAR)‌等主题的论述,现任‌MLCommons DMLR工作组联席主席‌、Common Crawl基金会顾问,并担任‌ACEDS纽约分会董事会成员‌及Sedona会议第1、13工作组委员。此外,她曾作为‌ACEDS芝加哥分会创始董事会成员‌,并任职于‌EDRM全球顾问委员会‌。Lilith以‌优异成绩毕业于西北大学。

Ronald J. Hedges
Ronald J. Hedges,Ronald J. Hedges LLC负责人。
Ron曾担任新泽西地区法院‌美国联邦治安法官‌(United States Magistrate Judge)逾20年。他长期就电子信息相关议题发表演讲及著述,研究领域涵盖‌刑事诉讼程序法与实体法‌、‌信息治理‌、‌诉讼管理‌,以及‌人工智能(AI)等新兴技术对现有信息治理政策与流程的整合‌。他曾任新泽西州与纽约州律师协会‌人工智能特别工作组成员‌,现为两州律师协会‌常设人工智能委员会成员‌。此外,他还是‌乔治城大学法学院高级电子证据开示研究所创始成员。

本文的内容仅旨在传达一般信息,不提供法律建议或意见。

Subscribe to Future Blog Posts