概述
其標籤針對 510 份商業合約中的 41 種條款類型;基準測試結果衡量該任務和分配的績效,而不是系統實踐法律的能力。
深入探討
合約理解 Atticus 資料集 (CUAD) 是為合約審查中的自然語言處理研究而創建的。 Atticus 專案將版本 1 描述為 510 份商業合同,其中包含 13,000 多個專家監督標籤,涵蓋 41 種在公司交易(包括併購)中被認為重要的條款類型。該資料集於 2021 年 NeurIPS 被接受,並根據專案頁面上規定的許可發布。 CUAD 將條款審查視為合約文本範圍的尋找或分類。它可以支援子句檢測、提取和相關方法的研究,但標籤代表選定的類別和註釋選擇。高分並不表示系統理解每一次法律交互,它在其他合約群體上表現良好,或者它的輸出已準備好進行交易。合約樣式、司法管轄區、語言、條款定義、掃描品質和修訂都可能與資料集不同。在使用CUAD之前,請檢查其版本、許可證、任務定義、分割設計和標籤手冊。避免共享範本或相關文件的訓練和測試範例之間的洩漏。評估反映預期用途的單獨協議,檢查誤報和遺漏條款,並讓法律審查人員評估提取的跨度是否保留例外和背景。 CUAD 是一個研究基準,而不是法律建議、模型認證或自動合約審查的認可。註釋說明和裁決也會影響正確的跨度,因此評估應與資料集的確切任務定義相符。
現實世界的實施
研究人員根據 CUAD 的註釋的跨度評估子句查找模型。
審核者檢查基準結果是否從商業合約轉移到新的合約類型。
團隊在設計合約審查模型之前研究代表哪些條款標籤。
數據科學家將開發範例與保留的評估合約分開。
CUAD 和法律 NLP 資料集的未來
未來的合約基準可能會增加文件類型、語言和更豐富的條款互動措施。這種擴大可以提高覆蓋範圍,但不會成為相當於法律實務的基準。團隊應根據當前協議進行測試,並讓專家參與定義和驗證輸出。較新的資料集可能會擴大合約類型或模型條款關係,但部署仍需要針對特定目標的評估。將結果與範圍內的實際協議和業務決策進行比較,並防止模型默默地將基準標籤轉換為法律結論。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 CUAD 和法律 NLP 資料集?
CUAD 是用於合約審查 NLP 的專家註釋資料集,並非所有協議或法律問題的完整表示。其標籤針對 510 份商業合約中的 41 種條款類型;基準測試結果衡量該任務和分配的績效,而不是系統實踐法律的能力。
Atticus 計畫如何描述 CUAD v1?
該項目描述了其規模、標籤、條款類別和專家監督。
建立 CUAD 是為了支援哪一項任務?
該論文提出 CUAD 作為合約審查 NLP 的專家註釋資料集。
模型在 CUAD 上得分很高。這最直接說明了什麼?
基準分數受資料集、任務和評估協議的限制。
為什麼在使用 CUAD 進行評估之前檢查分割設計?
重疊的範本或相關文件可能會造成培訓和評估之間的洩漏。
一位律師想要在另一個司法管轄區的保密協議中使用經過 CUAD 訓練的模型。下一步最好的步驟是什麼?
不同的合約類型和管轄範圍可能會改變語言和任務要求。