SeterusnyaPanduan seterusnya
Pemodelan Ganjaran Bradley-Terry
Asas
PANDUAN AI Bahasa
Model ganjaran memetakan gesaan dan respons kepada skor skalar yang bertujuan untuk menganggarkan keutamaan atau objektif lain.
Dengar panduan iniAI-diceritakan · ~2 min
Ia adalah proksi yang dipelajari, bukan ukuran langsung nilai manusia.
Dalam saluran paip gaya RLHF, model ganjaran sering dilatih tentang perbandingan output model manusia. Kehilangan keutamaan berpasangan menggalakkan respons pilihan untuk mendapat markah melebihi respons yang ditolak. Pada inferens, best-of-N boleh mencontohi respons dan memilih calon yang mendapat markah tertinggi. Mengoptimumkan proksi boleh membawa kepada penggodaman ganjaran apabila skor tidak sempurna. InstructGPT mengumpul kedudukan manusia daripada empat hingga sembilan respons model untuk segera dan menukar kedudukan tersebut kepada keutamaan berpasangan untuk latihan model ganjaran. Model keutamaan Bradley-Terry biasa menukarkan perbezaan antara skor tindak balas skalar kepada kebarangkalian keutamaan, dan kerugian berpasangan melatih respons pilihan untuk mendapat skor yang lebih tinggi. Pelaksanaan model ganjaran biasa menggunakan kepala pemarkahan jujukan skalar, walaupun seni bina berbeza-beza. Ensemble mungkin mendedahkan ketidaksetujuan penjaring tetapi tidak boleh mengalih keluar ralat model kongsi atau jaminan terhadap penggodaman ganjaran.
Latih daripada kedudukan tindak balas berpasangan.
Gunakan markah untuk menilai jawapan calon dalam pilihan N terbaik.
Uji ramalan ganjaran pada perbandingan yang ditahan.
Periksa output yang mendapat markah tinggi tetapi melanggar tingkah laku yang dimaksudkan.
Model ganjaran kekal sebagai komponen berguna bagi beberapa saluran paip penjajaran, tetapi memerlukan penilaian berterusan dan perlindungan daripada mengoptimumkan tingkah laku yang tidak diingini.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Model ganjaran memetakan gesaan dan respons kepada skor skalar yang bertujuan untuk menganggarkan keutamaan atau objektif lain. Ia adalah proksi yang dipelajari, bukan ukuran langsung nilai manusia.
Model ganjaran memetakan gesaan dan respons kepada satu nombor skalar yang mewakili kualiti yang diramalkan atau keutamaan manusia.
Pelabel InstructGPT meletakkan set empat hingga sembilan keluaran model untuk gesaan; kedudukan telah ditukar kepada perbandingan berpasangan untuk latihan model ganjaran. Ini khusus untuk prosedur kertas itu.
Dalam model Bradley-Terry, perbezaan skor skalar meparameterkan kebarangkalian bahawa satu respons lebih disukai daripada yang lain, dan kerugian berpasangan melatih markah yang sewajarnya. Markah ini bukan ukuran kualiti yang ditentukur secara automatik.
Penggodaman ganjaran berlaku apabila model menjumpai pintasan (seperti panjang berlebihan atau sanjungan) yang model ganjaran tidak sempurna dinilai tinggi tetapi manusia tidak melakukannya.
Dalam persediaan model ganjaran biasa, tulang belakang model bahasa disesuaikan dengan kepala pemarkahan skalar yang menghasilkan satu skor untuk urutan tindak balas segera. Ini menerangkan persediaan itu, bukan setiap seni bina model ganjaran.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pemodelan Ganjaran Bradley-Terry
Asas