PANDUAN Masyarakat

Audit AI dan Jaminan Pihak Ketiga

Audit AI adalah penilaian terstruktur terhadap sistem AI, atau organisasi yang mengendalikannya, berdasarkan kriteria yang ditetapkan seperti ketepatan, keadilan, keselamatan, keperluan undang-undang atau piawaian tadbir urus, yang dijalankan secara dalaman, oleh pihak ketiga bebas, atau di bawah mandat regulator.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Audit AI dan Jaminan Pihak Ketiga
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Jaminan pihak ketiga penting kerana tuntutan tentang sistem AI sukar untuk disahkan oleh pihak luar, dan audit menjadi cara utama regulator, pembeli dan orang awam memeriksanya.

Menyelam dalam

AI audits differ in who does them and what they examine. Internal audits are run by the organization itself, ideally by a team separate from the builders; Raji and colleagues' 2020 framework proposed an end-to-end internal audit process across a system's development. External audits come from outsiders. Some are cooperative, with access to data and code; others are adversarial, like journalists or researchers testing a system through its public interface. Regulatory audits are required or performed under law. Methods fall into three broad groups. Governance or process audits check policies, documentation, roles and risk management. Technical audits test the model: performance across subgroups, robustness, security, and behaviour on edge cases, sometimes including red teaming. Outcome audits look at real-world effects, for example comparing decisions across groups or using sock-puppet accounts to probe a recommendation system. Conformity assessment is a related legal concept. Under the EU AI Act, providers of high-risk systems must show compliance before placing them on the market. For most standalone high-risk uses this is an internal control procedure, while certain biometric systems and AI in products already covered by EU safety laws may involve a notified body. New York City's Local Law 144 requires independent bias audits for automated employment decision tools, and the EU Digital Services Act requires independent audits of very large online platforms. Independence is the persistent weakness. Auditors are usually paid by the company being audited, may receive limited access, and often work without agreed standards for what counts as passing. Critics warn of audit-washing, where a narrow audit is presented as a clean bill of health. A common misconception is that an audit certifies a system as safe or fair in general; it only speaks to the criteria, scope and time period examined.

Pelaksanaan Dunia Sebenar

Majikan di New York City yang menggunakan alat penapisan resume automatik mengupah audit bias bebas yang melaporkan nisbah impak kadar pemilihan mengikut jantina dan kategori kaum atau etnik, seperti yang dikehendaki oleh Undang-Undang Tempatan 144 bandar tersebut.

Penyelidik menanyakan perkhidmatan analisis wajah komersial dengan set wajah yang seimbang dan menerbitkan kadar ralat mengikut jenis kulit dan jantina, audit luar yang dijalankan tanpa kerjasama vendor, seperti kajian Gender Shades 2018.

Sebuah syarikat perisian mencari pensijilan sistem pengurusan AI-nya mengikut ISO/IEC 42001 daripada badan pensijilan yang diakreditasi supaya pelanggan perusahaan dapat melihat kawalan tadbir urusnya telah diperiksa.

Sebuah platform dalam talian yang sangat besar di EU menjalani audit bebas tahunan ke atas pengurusan risikonya, termasuk sistem cadangannya, di bawah Akta Perkhidmatan Digital.

Masa Depan Audit AI dan Jaminan Pihak Ketiga

Industri jaminan AI sedang terbentuk, termasuk firma perakaunan, syarikat permulaan pakar, makmal ujian dan badan pensijilan. Kerja piawaian, seperti ISO/IEC 42001 untuk sistem pengurusan dan piawaian berkaitan bagi badan yang menentukannya, bertujuan menjadikan audit lebih dapat dibandingkan. Kerajaan termasuk UK telah menerbitkan rancangan untuk mengembangkan jaminan AI sebagai pasaran. Isu utama yang belum diselesaikan ialah akreditasi auditor, akses kepada dalaman model untuk penyelidik luar, dan siapa yang membayar tanpa mencipta konflik kepentingan. Audit model tujuan umum masih sangat tidak matang, kerana penggunaan mereka tidak terhad. Harapkan profesionalisme bertahap daripada satu kaedah yang dipersetujui dalam jangka masa terdekat.

Mempraktikkannya

Mengapa ia penting

  • Risiko dan keselamatan. Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
  • Keputusan yang lebih jelas. Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
  • Memotong keterujaan. Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.

Berhati-hati untuk

  • Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
  • Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
  • Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.

Langkah seterusnya

  1. Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
  2. Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
  3. Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
  4. Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Audit AI dan Jaminan Pihak Ketiga

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apa itu Audit AI dan Jaminan Pihak Ketiga?

Audit AI ialah penilaian berstruktur terhadap sistem AI, atau organisasi yang mengendalikannya, berbanding kriteria yang ditetapkan seperti ketepatan, keadilan, keselamatan, keperluan undang-undang atau piawaian tadbir urus, yang dilaksanakan secara dalaman, oleh pihak ketiga bebas, atau di bawah mandat regulator. Jaminan pihak ketiga penting kerana dakwaan mengenai sistem AI sukar disahkan oleh pihak luar, dan audit menjadi cara utama regulator, pembeli dan orang ramai memeriksanya.

Apakah yang menerangkan audit luar yang bersaing?

Audit luar bersaing dilakukan oleh pihak luar, seperti wartawan atau penyelidik, yang menyelidik sistem tanpa kerjasama atau akses istimewa.

Apa yang biasanya diperiksa dalam audit tadbir urus atau proses?

Audit proses memeriksa bagaimana organisasi mengurus AI, bukannya menguji model secara langsung.

Apakah yang dikehendaki oleh Undang-Undang Tempatan 144 NYC untuk alat keputusan pekerjaan automatik?

Undang-Undang Tempatan 144 memerlukan audit bias bebas, termasuk nisbah impak mengikut kategori demografi.

Bagaimanakah nisbah impak yang digunakan dalam audit bias NYC dikira?

Nisbah impak membandingkan kadar pemilihan setiap kategori dengan kategori yang paling banyak dipilih.

Di bawah Akta AI EU, bagaimana kebanyakan sistem berisiko tinggi berdiri sendiri menjalani penilaian pematuhan?

Kebanyakan sistem berisiko tinggi berdiri sendiri menggunakan kawalan dalaman, manakala beberapa sistem biometrik dan produk yang dikawal selia mungkin melibatkan badan yang diberitahu.