PANDUAN Masyarakat

Penentukuran Kepercayaan AI

Penentukuran amanah bermakna bergantung pada sistem AI secara berkadaran dengan bukti tentang perkara yang boleh dilakukannya.

Dengar panduan iniAI-diceritakan · ~2 min

Pada halaman ini2 min dibaca
  1. Gambaran keseluruhan
  2. Pengambilan utama
  3. Menyelam dalam
  4. Mentafsir jalur kebarangkalian
  5. Pelaksanaan Dunia Sebenar
  6. Mempraktikkannya
  7. Sumber dan bacaan lanjut
  8. Teruskan Meneroka
  9. Soalan lazim

Gambaran keseluruhan

Terlalu banyak kepercayaan boleh menyembunyikan kesilapan; terlalu sedikit boleh menghalang bantuan yang berguna. Matlamatnya ialah pertimbangan yang bermaklumat dan boleh disemak semula yang terikat dengan tugas dan keadaan operasi.

Pengambilan utama

  1. Asas pergantungan pada bukti khusus tugas.
  2. Nilai keyakinan daripada menerimanya pada nilai muka.
  3. Ukur cara orang menggunakan dan mengatasi pengesyoran.

Menyelam dalam

Bezakan penentukuran statistik daripada kepercayaan seseorang. Skor kebarangkalian yang ditentukur mempunyai hubungan empirikal dengan kekerapan ramalan adalah betul merentas kes yang setanding. Kepercayaan manusia juga bergantung pada reka bentuk antara muka, pengalaman lepas, penjelasan, dan akibat kesilapan. Keyakinan lisan model adalah satu lagi output untuk dinilai. Ia mungkin terdengar pasti tanpa bukti yang boleh dipercayai. Malah model yang ditentukur secara statistik boleh berprestasi buruk, dan penentukuran yang baik pada satu set data tidak menjamin penentukuran selepas peralihan dalam bahasa, domain atau tugas. Beri pengguna maklumat yang menyokong semakan bebas. Tunjukkan sumber, huraikan had yang berkaitan dan asingkan keputusan yang disahkan daripada kesimpulan yang disimpulkan. Elakkan lencana keyakinan hiasan yang mencadangkan lebih ketepatan daripada yang diukur. Uji cara orang menggunakan sistem, termasuk sama ada mereka melihat ralat dan latihan mengatasi dengan sewajarnya. Ukur kedua-dua terlalu bergantung dan penolakan yang tidak perlu. Kemas kini panduan apabila tingkah laku berubah dan kekalkan cara yang mudah untuk melaporkan kesilapan atau menyelesaikan tugas tanpa model.

04Contoh yang dikerjakan

Mentafsir jalur kebarangkalian

  1. Bayangkan 100 ramalan memperuntukkan kira-kira 80% kebarangkalian adalah betul. Hanya 55 adalah betul dalam sampel yang dipegang oleh wakil.

  2. Kumpulan ini terlalu yakin di bawah penilaian ini; 80% yang dipaparkan tidak boleh dianggap sebagai kebolehpercayaan yang telah ditetapkan.

  3. Ulangi dengan contoh yang mencukupi merentas julat kebarangkalian dan subkumpulan penting sebelum menukar cara markah ditunjukkan kepada pengguna.

Apa yang ditunjukkan

Kiraan yang dicipta menggambarkan penilaian penentukuran dan pergantungannya pada sampel penilaian.

Pelaksanaan Dunia Sebenar

Bandingkan jalur kebarangkalian yang diramalkan dengan hasil yang diperhatikan pada contoh yang ditahan.

Tunjukkan petikan sumber sokongan di sebelah jawapan yang memerlukan pengesahan.

Mempraktikkannya

Mengapa ia penting

  • Risiko dan keselamatan. Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
  • Keputusan yang lebih jelas. Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
  • Memotong keterujaan. Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.

Berhati-hati untuk

  • Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
  • Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
  • Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.

Langkah seterusnya

  1. Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
  2. Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
  3. Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
  4. Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.

Sumber dan bacaan lanjut

  1. Jiang and colleaguesBagaimana Kita Boleh Tahu Apabila Model Bahasa Tahu?

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the AI Trust Calibration quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Adakah penjelasan yang yakin menjadikan jawapan lebih boleh dipercayai?

Bukan dengan sendirinya. Semak buktinya dan kebolehpercayaan terukur sistem untuk tugasan tersebut.