在电子证据开示中，确保文档审查的准确性和抗辩性性至关重要，尤其是在将审查结果提交给对方或监管机构时。Epiq 的 AI Discovery Assistant™ 通过标准评估指标：召回率、准确率和遗漏率，为这一流程引入了统计严谨性，从而实现验证。

• 召回率衡量在所有可能相关的文档中，有多少被正确识别为相关。
• 准确率评估被识别为相关的文档中，有多少实际上是相关的。
• 遗漏率估算在被认为不相关的文档集合中，可能存在多少遗漏的相关文档。

基于随机抽样的评估指标，为AI驱动的文档审查提供了透明可信且符合统计学严谨性的评估方法。

何时需要验证

在向外部各方提供文件时，验证尤为关键。无论是面对监管机构还是对抗律师，证明审查流程的可靠性都至关重要。对于内部调查或收到的生成文件，验证虽非必需但仍有裨益。能在置信区间范围内估算查全率、查准率、遗漏率及丰富度的能力，可确保审查结果的有效证明与流程透明度。

衡量什么内容

Epiq AI Discovery Assistant™ 不仅支持“响应”或“非响应”的分类，还支持议题标记和特权识别。系统为每个议题标签提供内置的召回率与准确率权衡指标，利用 k 折交叉验证和审查代码进行分析。

不过，这并不等同于控制集，仅应作为工作流程决策的参考。

通常建议验证整体的“响应”与“非响应”分类。每个标签的内置指导可帮助确定适当的评分阈值，但若要评估整体生产的有效性，Epiq 建议验证整体的“响应”与“非响应”判断。

控制集：验证的基础

一个包含 500 个文档的控制集通常能提供合理的覆盖范围。对于数据丰富度较低或需要更高置信度的情况，可以选择更大的控制集。

控制集是从数据集中随机抽取的，其编码不会用于模型训练。控制集文档会从训练过程中剔除，仅用于验证。

丰富度抽样：早期洞察

在审查初期，会使用一个小型随机样本（称为丰富度样本）来估算数据集中“响应”文档的比例。这有助于判断可能出现的文档类型和议题，并为后续工作做规划。例如，如果计划对“响应”文档进行二级审查，丰富度样本可以提前预估将会发现多少“响应”文档。这是一个战略性步骤，有助于资源分配和时间安排。

遗漏抽样：最终保障

在审查流程结束时，一个关键步骤是对被判定为“非响应”且未被提交的文档进行随机抽样。遗漏样本用于识别被遗漏的相关文档比例，是内部调查和接收文档过程中确保未遗漏重要信息的有力工具。当所有预测为相关的文档都已审查完毕时，遗漏样本也可用于估算召回率。

Epiq AI Discovery Assistant™ 界面的易用性

使用 Epiq AI Discovery Assistant™ 设置和运行抽样集非常简便。用户可通过引导式流程直接启动控制集、丰富度样本和遗漏样本。每一步都包含提示和内置建议，使法律专业人士无需统计学背景也能配置抽样参数。该简化流程帮助法律团队更快速、更有信心地验证文档集。

结语

这些成熟且广泛认可的评估指标已被集成到 Epiq AI Discovery Assistant™ 的流程中，用于验证证据开示结果。通过识别相关性的准确率、召回率和遗漏率的置信区间，为各方提供方法和结果的有效性保障。

尽管 Epiq AI Discovery Assistant™ 提供了先进功能，但重点仍在于赋能法律专业人士，而非取代他们。通过将人类专业知识与 AI 洞察相结合，法务部门和律所可以优化文档审查流程，达到最高标准的准确性与责任性。

Jon Lavinder，Epiq 产品管理高级总监
Jon 负责 AI 工具、技术辅助审查（TAR）、聊天与协作数据以及早期案件评估（ECA）技术。他与律所和企业法律专业人士密切合作，打造下一代法律证据开示与信息治理工具与服务。Jon 是电子证据开示会议上的常驻演讲嘉宾，分享 AI 的应用及行业未来发展。