SeterusnyaPanduan seterusnya
Mengajar Pelajar Tentang Bias AI
Masyarakat
PANDUAN Masyarakat
Kurnia berat sebelah menjemput peserta luar untuk menguji model atau sistem yang ditentukan dan melaporkan bukti potensi bahaya yang berbeza, kadangkala untuk anugerah.
Dengar panduan iniAI-diceritakan · ~3 min
Ia meminjam format pendedahan dan ganjaran hadiah pepijat keselamatan siber tetapi menilai hasil sosial yang mungkin memerlukan konteks dan pertimbangan. Hadiah ialah kaedah audit terhad, bukan pensijilan bahawa model itu adil.
Karunia pepijat keselamatan biasanya meminta penyelidik mencari kelemahan teknikal tertentu dalam skop yang dibenarkan. Hadiah bias algoritma menyesuaikan idea dengan meminta peserta luar mengenal pasti atau menunjukkan potensi bahaya dalam model. Cabaran 2021 Twitter memfokuskan pada model kecemerlangan/pemotongan imejnya: Twitter menyediakan model dan kod penjanaan tanaman, menjemput penilaian kuantitatif dan kualitatif serta menggunakan kumpulan hadiah terhad. Skopnya ialah proses pemangkasan/paparan, bukan setiap pengesyoran atau sistem penyederhanaan. Hadiah boleh menemui mod kegagalan yang dilepaskan oleh pembangun, meningkatkan kebolehulangan dan mengundang perspektif di luar organisasi. Ia juga boleh memesongkan usaha ke arah bahaya yang mudah ditunjukkan dengan akses dan masa yang tersedia. Peserta mungkin kekurangan data penempatan, dokumentasi atau sampel perwakilan; pertandingan hadiah boleh memberi ganjaran kebaharuan berbanding keterukan atau mencipta insentif untuk melebih-lebihkan keputusan. Ketiadaan penemuan yang dikemukakan bukan bukti keselamatan. Acara sekali sahaja bukanlah pemantauan berterusan dan peserta tidak boleh mengakses data sensitif pengguna sebenar tanpa kebenaran. Peraturan berguna mentakrifkan versi model, keputusan yang terjejas, data yang dibenarkan, kategori ancaman/kesan, kriteria penilaian, sekatan privasi, saluran pendedahan, garis masa respons dan cara pembetulan akan disahkan. Organisasi harus membayar untuk kerja yang sah, melindungi penguji yang jujur dan menerangkan kriteria pemilihan. Semakan harus melibatkan orang yang mempunyai perspektif metodologi, domain dan pengalaman hidup. Laporan harus membezakan perbezaan yang diperhatikan, mekanisme yang munasabah, bahaya hiliran dan pelanggaran undang-undang. Hasilnya ialah input kepada pengurusan risiko, bukan sijil keadilan atau pengganti ujian dalaman, perundingan, hak rayuan atau pengawasan pengawal selia.
Sebuah syarikat berkongsi kad model, antara muka penilaian dan peraturan cabaran supaya penyelidik luar boleh menguji model kedudukan tertentu.
Seorang penyelidik menyerahkan dapatan ketaksamaan yang boleh dihasilkan semula dengan kohort, perbandingan dan pengehadan yang ditentukan dan bukannya dakwaan yang tidak disokong.
Pasukan program menawarkan saluran sulit, skop yang jelas dan pelan pemulihan sebelum mengumumkan anugerah kewangan.
Juruaudit menyemak sama ada set ujian bounty menggambarkan orang yang terjejas dalam penempatan dan sama ada laporan tidak menang masih menerima respons.
Acara Twitter 2021 menunjukkan format boleh digunakan pada model pemangkasan imej yang sempit, manakala cadangan penyelidikan membincangkan cara untuk menstruktur program habuan berat sebelah yang lebih luas. Amalan ini kekal sebagai kaedah sukarela, bergantung kepada reka bentuk dan bukannya jaminan standard. Nilai masa hadapan bergantung pada akses, pendedahan selamat, pampasan yang boleh dipercayai, penyertaan wakil dan kewajipan untuk memperbaiki. Organisasi harus menggandingkan hadiah dengan penilaian rutin dan cara yang bermakna untuk orang yang terjejas. Pengawal selia dan kumpulan masyarakat sivil boleh membantu menjelaskan jangkaan, tetapi cabaran persendirian tidak memindahkan akauntabiliti organisasi kepada peserta luar.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Kurnia berat sebelah menjemput peserta luar untuk menguji model atau sistem yang ditentukan dan melaporkan bukti potensi bahaya yang berbeza, kadangkala untuk anugerah. Ia meminjam format pendedahan dan ganjaran hadiah pepijat keselamatan siber tetapi menilai hasil sosial yang mungkin memerlukan konteks dan pertimbangan. Hadiah ialah kaedah audit terhad, bukan pensijilan bahawa model itu adil.
Twitter merangka cabaran 2021 di sekitar model kepentingannya dan kod yang menjana pemangkasan imej.
Catatan cabaran mengatakan Twitter berkongsi semula model dan kod untuk menjana tanaman untuk penilaian bebas.
Penilaian berat sebelah melibatkan definisi hasil dan kumpulan yang terjejas, manakala hadiah keselamatan biasanya menyasarkan kelemahan teknikal dalam skop yang ditentukan.
Penyertaan dan akses adalah terhad; ketiadaan laporan bukanlah penilaian keselamatan yang menyeluruh.
Tuntutan boleh disemak apabila model/versi, reka bentuk ujian, perbandingan dan ketidakpastian adalah eksplisit.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Mengajar Pelajar Tentang Bias AI
Masyarakat