ต่อไปคำแนะนำต่อไป
กฎหมายท้องถิ่น NYC 144 และการตรวจสอบอคติการจ้างงาน AI
สังคม
คู่มือทางเทคนิค
การตรวจสอบอคติของ AI ประเมินว่าการตัดสินใจหรือข้อผิดพลาดของระบบแตกต่างกันในกลุ่มที่เกี่ยวข้องหรือไม่และความแตกต่างนั้นมีเหตุผลสำหรับการใช้งานหรือไม่
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
การตรวจสอบที่เข้มงวดกำหนดการตัดสินใจและประชากรที่ได้รับผลกระทบ เลือกเมตริกที่เชื่อมโยงกับความเสียหาย ทดสอบกลุ่มย่อยและการตัดกัน บันทึกข้อจำกัด และนำไปสู่การดำเนินการแก้ไข ไม่มียุทธวิธีเดียวที่สามารถกำหนดความเป็นธรรมในทุกบริบท
Begin with the decision, system boundary, and people affected. Identify what the model predicts, how a score changes a real decision, the deployment setting, and which group differences could cause harm. A bias audit is not just a single fairness metric: it should document data sources, selection stages, target definitions, model versions, decision thresholds, and human review. Choose metrics tied to the harm, such as selection rates, false-positive or false-negative rates, calibration, or error severity. Different metrics can conflict, so explain why the chosen measures fit the decision. Disaggregate results by legally and contextually relevant groups, including intersections where sample size and privacy permit. Report counts and uncertainty, not only percentages. Examine data coverage, proxy features, missingness, and whether labels measure the intended construct. The 2019 Obermeyer study, for example, found a health-management algorithm that used cost as a proxy for need assigned lower risk scores to Black patients with comparable illness. An audit should test the target and process, not just the model’s final output. For employment tools covered by New York City Local Law 144, employers and employment agencies must arrange an independent bias audit within one year before use, publish a summary, and provide required notices. That specific local law does not define every AI audit everywhere. Other laws and policies can require different methods or records. An auditor should disclose scope, data limitations, metrics, and whether the system was tested under conditions matching actual use. Close the loop: identify findings, assign remediation owners, decide whether to alter data, model, threshold, or process, and retest before relying on the system. Keep a dated report and version history. A passing metric is not proof of fairness, legal compliance, or validity. If critical gaps remain, limit use or do not deploy until evidence and safeguards are adequate.
นายจ้างในเมืองนิวยอร์กตรวจสอบว่า AEDT ที่ครอบคลุมของตนมีการตรวจสอบอคติอย่างอิสระล่าสุดหรือไม่และเผยแพร่สรุปที่จำเป็นก่อนการใช้งาน
ระบบสุขภาพทดสอบว่าคะแนนการจัดการการดูแลใช้การใช้จ่ายในอดีตเป็นตัวแทนของความต้องการหรือไม่ โดยอ้างอิงจากการศึกษา Obermeyer ปี 2019
ผู้ให้กู้ประเมินรูปแบบการอนุมัติและข้อผิดพลาดโดยใช้ข้อมูลประชากรที่ได้มาทางกฎหมายหรือประมาณอย่างระมัดระวังและบันทึกข้อจำกัดของวิธีตัวแทนใด ๆ
ผู้ให้บริการตรวจสอบใบหน้ารายงานอัตราความผิดพลาดสำหรับกลุ่มที่มีความสัมพันธ์กันแทนที่จะพึ่งพาความแม่นยำโดยรวมเท่านั้น
ทำการทบทวนซ้ำหลังจากมีการเปลี่ยนแปลงโมเดล, ข้อมูล, เกณฑ์, ผู้จำหน่าย, กระบวนการทำงาน, หรือเขตอำนาจศาล. จัดให้การทดสอบตามกำหนดเวลาพร้อมกับเจ้าของที่ระบุชื่อสำหรับการร้องเรียน, สัญญาณการตรวจสอบ, และกำหนดเวลาการแก้ไข. ตรวจสอบกฎระเบียบท้องถิ่นแยกต่างหากเนื่องจากความเป็นอิสระของการตรวจสอบ, การเผยแพร่, และข้อกำหนดการแจ้งเตือนอาจแตกต่างกัน. เมื่อการแก้ไขทำให้โมเดลหรือแนวทางการตัดสินใจเปลี่ยนแปลง, วัดผลลัพธ์เทียบกับอันตรายเดิมและทดสอบความแตกต่างของกลุ่มใหม่ก่อนขยายการใช้งาน. เก็บรักษารายงานก่อนหน้าเพื่อให้ทีมสามารถเปรียบเทียบผลลัพธ์ตามเวลา. เก็บการอนุมัติของผู้ตรวจสอบพร้อมกับรายงาน. เก็บบันทึกการเปลี่ยนแปลง.
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การตรวจสอบอคติของ AI ประเมินว่าการตัดสินใจหรือข้อผิดพลาดของระบบแตกต่างกันระหว่างกลุ่มที่เกี่ยวข้องหรือไม่ และความแตกต่างเหล่านั้นถูกยืนยันได้สำหรับการใช้งานหรือไม่ การตรวจสอบที่แข็งแกร่งกำหนดการตัดสินใจและประชากรที่ได้รับผลกระทบ เลือกตัวชี้วัดที่เชื่อมโยงกับความเสียหาย ทดสอบกลุ่มย่อยและการตัดกัน บันทึกข้อจำกัด และนำไปสู่การดำเนินการแก้ไข ไม่มีตัวชี้วัดเดียวที่สามารถกำหนดความยุติธรรมในทุกบริบทได้
คู่มือแนะนำให้กำหนดการตัดสินใจและประชากรที่ได้รับผลกระทบก่อนเลือกตัวชี้วัด
จำนวนและความไม่แน่นอนช่วยให้ผู้ตรวจสอบตีความค่าประมาณที่มีเสียงรบกวนสำหรับกลุ่มขนาดเล็ก
การศึกษาพบว่าการใช้ค่าใช้จ่ายเป็นตัวแทนของความต้องการทำให้ความต้องการของผู้ป่วยสีดำที่มีโรคร่วมเทียบเท่าถูกลดทอน
NYC DCWP ระบุว่าเครื่องมือที่ครอบคลุมต้องมีการตรวจสอบอคติล่าสุด สรุปสาธารณะ และการแจ้งเตือน
ตัวชี้วัดที่ผ่านไม่ได้กำหนดความยุติธรรม ความถูกต้อง หรือการปฏิบัติตามกฎหมายในทุกแง่มุม
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
กฎหมายท้องถิ่น NYC 144 และการตรวจสอบอคติการจ้างงาน AI
สังคม