Pembelajaran Penguatan Dari Umpan Balik Manusia
RLHF adalah teknik yang mengubah model bahasa mentah menjadi asisten yang membantu dan sopan dengan melatihnya berdasarkan preferensi manusia.
Ikhtisar
It matters because it aligns model behavior with what people actually want, not just what is statistically likely.
Menyelam Lebih Dalam
Model bahasa terlatih memprediksi teks yang masuk akal, namun masuk akal tidak sama dengan bermanfaat, jujur, atau aman. RLHF memperbaikinya secara bertahap. Pertama, penyesuaian yang diawasi mengajarkan model untuk mengikuti instruksi menggunakan contoh jawaban yang ditulis manusia. Selanjutnya, manusia membandingkan pasangan respons model terhadap perintah yang sama dan memilih yang lebih baik; perbandingan ini melatih model penghargaan terpisah yang menilai respons apa pun. Terakhir, model bahasa dioptimalkan dengan pembelajaran penguatan untuk menghasilkan respons yang dinilai tinggi oleh model penghargaan. Penalti mencegahnya menyimpang terlalu jauh dari model aslinya sehingga tetap lancar dan tidak mengeksploitasi keanehan model penghargaan. RLHF sangat penting untuk membuat asisten bergaya ChatGPT dapat digunakan.
Wawasan Teknis
Model penghargaan biasanya dilatih pada pasangan preferensi dengan gaya Bradley-Terry yang hilang, belajar memberikan jawaban yang disukai manusia dengan skor skalar yang lebih tinggi. Kebijakan tersebut kemudian diperbarui dengan PPO (Proximal Policy Optimization), yang memaksimalkan imbalan, sementara penalti divergensi KL terhadap model referensi mencegah optimasi berlebihan dan 'peretasan imbalan'. Karena PPO rumit, metode baru seperti DPO (Direct Preference Optimization) melewatkan model imbalan eksplisit dan putaran penguatan, sehingga mengoptimalkan kebijakan langsung dari pasangan preferensi.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Pembelajaran Penguatan Dari Umpan Balik Manusia
RLHF sedang disederhanakan dan sebagian diotomatisasi. DPO dan metode preferensi langsung terkait menggantikan jalur pipa PPO yang berat bagi banyak tim, dan RLAIF menggunakan umpan balik yang dihasilkan AI (seperti dalam AI Konstitusional) untuk memangkas biaya pelabelan. Penelitian mengatasi peretasan imbalan, bias anotator, dan kesulitan dalam menilai tanggapan yang panjang atau tanggapan ahli, dengan teknik seperti pengawasan proses dan debat. Harapkan keselarasan untuk memadukan umpan balik manusia dan AI, sinyal penghargaan yang lebih kaya lebih dari sekedar acungan jempol, dan peningkatan pengawasan terhadap siapa yang memberikan preferensi dan nilai apa yang dikodekan.
Implementasi Dunia Nyata
Menyesuaikan asisten obrolan sehingga menolak permintaan berbahaya dan memberikan jawaban yang bermanfaat dan terstruktur dengan baik, bukan hanya teks yang masuk akal.
Memberi peringkat pada pasangan ringkasan berdasarkan preferensi manusia untuk melatih model yang menulis ringkasan yang menurut orang berguna.
Mengurangi keluaran yang beracun atau bias dengan memberi penghargaan pada tanggapan yang dinilai oleh penilai manusia sebagai hal yang terhormat dan aman.
Menggunakan DPO pada kumpulan data jawaban yang disukai vs. ditolak untuk menyelaraskan model sumber terbuka tanpa menjalankan perulangan PPO penuh.
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reinforcement Learning From Human Feedback quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pembelajaran Penguatan
Pertanyaan yang sering diajukan
What is Reinforcement Learning From Human Feedback?
RLHF adalah teknik yang mengubah model bahasa mentah menjadi asisten yang membantu dan sopan dengan melatihnya berdasarkan preferensi manusia. Hal ini penting karena model ini menyelaraskan perilaku model dengan keinginan orang, bukan hanya kemungkinan secara statistik.
Apa tujuan utama RLHF untuk model bahasa?
RLHF mengarahkan model ke arah respons yang disukai manusia, menjadikannya lebih bermanfaat, jujur, dan aman, bukan sekedar masuk akal.
Apa yang sebenarnya dipelajari oleh model penghargaan di RLHF?
Model imbalan dilatih berdasarkan perbandingan preferensi manusia untuk menilai respons, sehingga memberikan sinyal yang dapat dioptimalkan oleh kebijakan.
Mengapa penalti divergensi KL terhadap model asli digunakan pada langkah RL?
Hukuman KL menjaga kebijakan yang dioptimalkan tetap dekat dengan model referensi, mencegah peretasan imbalan dan hilangnya kelancaran.
Bagaimana biasanya data preferensi dikumpulkan untuk model penghargaan?
Anotator memilih respons yang disukai dalam perbandingan berpasangan, yang melatih model imbalan melalui kerugian gaya Bradley-Terry.
Keuntungan apa yang ditawarkan DPO (Optimasi Preferensi Langsung) dibandingkan jalur pipa RLHF klasik?
DPO memperoleh tujuan langsung dari preferensi, menghindari model penghargaan terpisah dan langkah pembelajaran penguatan yang rumit.