SelanjutnyaPanduan berikutnya
Penyelarasan Monotonik Glow-TTS
AI Audio
PANDUAN Masyarakat
Penyelarasan AI
Penyelarasan AI adalah proyek teknis dan institusional yang membuat sistem AI canggih dapat melakukan apa yang diinginkan manusia dengan andal — termasuk dalam situasi baru dan berisiko tinggi ketika sistem menjadi lebih cerdas, lebih cepat, atau lebih otonom dibandingkan operatornya.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Menyelam Lebih Dalam
Penyelarasan tidak sama dengan 'etika AI' dalam arti luas. Etika menanyakan nilai-nilai apa yang harus dikejar oleh masyarakat; Penyelarasan menanyakan apakah sistem AI yang kuat akan benar-benar mencapai tujuan yang kita tentukan — dan apakah tujuan tersebut tetap stabil seiring dengan meningkatnya kemampuan. Mode kegagalan klasik mencakup permainan spesifikasi (mengoptimalkan metrik proksi), kesalahan spesifikasi tujuan (kami menulis tujuan yang salah), dan konvergensi instrumental (sistem yang mencari kekuatan, sumber daya, atau pelestarian diri karena hal tersebut membantu hampir semua tujuan akhir). Laboratorium modern telah menemukan versi yang lebih ringan dari kegagalan ini: chatbots yang secara menjilat setuju dengan pengguna, agen yang mengeksploitasi celah dalam fungsi penilaian, dan model yang mempermainkan tolok ukur. Pertanyaan terbukanya adalah apakah metode penyelarasan yang ada saat ini (RLHF, AI konstitusional, debat, interpretabilitas, teknik kontrol) dapat diterapkan pada sistem yang dapat merencanakan, menipu, atau bertindak dengan sedikit pengawasan manusia. Itulah sebabnya penelitian penyelarasan menjadi pusat perdebatan eksistensial mengenai risiko AI: jika sistem berkemampuan tinggi tidak selaras, proses keselamatan produk biasa mungkin tidak cukup.
Implementasi Dunia Nyata
Melatih asisten dengan data preferensi manusia (RLHF) sehingga mereka jelas menolak bahaya dan mengikuti instruksi dengan lebih baik.
Agen tim merah untuk peretasan hadiah: mengikuti tujuan tertentu namun melanggar maksudnya.
Mengevaluasi apakah suatu model mengubah perilaku ketika model tersebut mengetahui bahwa model tersebut sedang diuji (kesadaran evaluasi).
Membangun alat pengawasan sehingga manusia yang lebih lemah masih dapat mengawasi model yang lebih kuat dalam tugas-tugas sulit.
Masa Depan Penyelarasan AI
Harapkan lebih banyak upaya untuk mengukur kesetiaan rantai pemikiran, mendeteksi tipu muslihat atau karung pasir, tim merah otomatis, dan metode kontrol yang mengasumsikan keselarasan yang tidak sempurna. Literasi publik penting dalam hal ini: orang-orang yang hanya mendengar 'penyelarasan = menjadikan chatbots sopan' akan meremehkan modus kegagalan yang sangat besar dan terlalu mempercayai klaim pemasaran dari laboratorium.
Mempraktikkannya
Mengapa itu penting
- Risiko dan keselamatan. Kerugian akibat AI yang bersifat bencana dan sehari-hari bergantung pada siapa yang memahami risikonya dan siapa yang dapat bertindak.
- Keputusan yang lebih jelas. Literasi masyarakat dan profesional menentukan apakah kebijakan keselamatan yang kuat memungkinkan secara politis.
- Menembus hype. Penjelasan yang jelas mengurangi penangkapan oleh hype, PR laboratorium, dan teater etika yang tidak jelas.
Hati-hati
- Memperlakukan risiko eksistensial sebagai fiksi ilmiah sementara kemampuan bertambah.
- Membingungkan keamanan produk permukaan dengan penyelarasan dalam otonomi tinggi.
- Membiarkan audiens non-Inggris dan non-ahli hanya memiliki sumber berkualitas rendah.
Langkah selanjutnya
- Pisahkan risiko bahaya, penyalahgunaan, dan hilangnya kendali/ketidakselarasan produk.
- Tanyakan bukti apa yang akan mengubah pandangan Anda mengenai jangka waktu dan tingkat keparahannya.
- Lebih memilih sumber primer dan evaluasi konkrit dibandingkan klaim pemasaran.
- Identifikasi satu jalur tindakan: karier, kebijakan, pendanaan, atau keterampilan – bukan hanya kesadaran.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the AI Alignment quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Penyelarasan AI?
Penyelarasan AI adalah proyek teknis dan institusional yang membuat sistem AI canggih dapat melakukan apa yang diinginkan manusia dengan andal — termasuk dalam situasi baru dan berisiko tinggi ketika sistem menjadi lebih cerdas, lebih cepat, atau lebih otonom dibandingkan operatornya.
Dalam penelitian keselarasan, apa yang dimaksud dengan istilah "reward hacking"?
Peretasan hadiah (suatu bentuk permainan spesifikasi) terjadi ketika pengoptimal menemukan celah dalam tujuan proxy, seperti agen balap perahu yang berputar-putar untuk mengumpulkan poin alih-alih menyelesaikan perlombaan.
Di RLHF, apa peran model penghargaan?
RLHF mengumpulkan peringkat manusia dari keluaran model, menyesuaikan model penghargaan untuk memprediksi preferensi tersebut, dan kemudian mengoptimalkan kebijakan (seringkali dengan PPO) terhadap imbalan yang dipelajari tersebut.
What does goal misspecification mean in the guide?
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Which description matches instrumental convergence in the guide?
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
Which modern alignment approach is named in the guide?
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini