SeterusnyaPanduan seterusnya
Pemodelan Ganjaran
AI bahasa
PANDUAN Asas
Pemodelan Ganjaran Bradley-Terry
Model Bradley-Terry ialah kaedah statistik berabad-abad untuk menukar perbandingan berpasangan (A mengalahkan B) kepada skor angka.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Dalam AI moden ia menguasai model ganjaran yang mempelajari keutamaan manusia daripada 'jawapan mana yang lebih baik?' label, tulang belakang RLHF.
Menyelam dalam
Bradley-Terry, yang diperkenalkan pada tahun 1952, menganggap setiap item mempunyai skor kekuatan tersembunyi, dan kebarangkalian item A mengalahkan item B adalah fungsi logistik perbezaan skor mereka. Dalam penjajaran AI, ini memetakan dengan kemas pada data keutamaan: pelabel manusia melihat dua respons model dan memilih yang lebih baik, dan bukannya memberikan penilaian mutlak yang sukar ditentukur. Model ganjaran, biasanya model bahasa dengan kepala keluaran skalar, dilatih supaya respons yang disukai manusia mendapat ganjaran skalar yang lebih tinggi. Kerugian ialah kemungkinan log negatif bagi kebarangkalian Bradley-Terry: memaksimumkan log-sigmoid bagi (ganjaran pilihan tolak ganjaran ditolak). Model ganjaran yang terhasil kemudiannya menjaringkan output arbitrari, memberikan isyarat bahawa algoritma pembelajaran pengukuhan seperti PPO dioptimumkan untuk menjadikan model lebih membantu dan sejajar.
Pelaksanaan Dunia Sebenar
Melatih model ganjaran dalam RLHF yang menyusun dua respons bot sembang dan memberi isyarat yang lebih baik-lebih buruk kepada penalaan halus PPO.
Pengoptimuman Keutamaan Langsung memperhalusi model secara langsung pada pasangan jawapan yang dipilih-berbanding-ditolak menggunakan kehilangan log-sigmoid Bradley-Terry.
Kedudukan pemain catur atau sukan melalui Elo, yang secara matematik adalah sepupu rapat model Bradley-Terry pada hasil permainan.
Membina penaraf pengesyoran kandungan daripada data klik 'pengguna lebih suka A berbanding B' dan bukannya penilaian bintang mutlak.
Masa Depan Pemodelan Ganjaran Bradley-Terry
Bradley-Terry menganggap kedudukan tunggal yang konsisten dan keutamaan transitif, yang rosak apabila manusia tidak bersetuju atau kitaran pilihan. Penyelidikan sedang bergerak ke arah model yang menangkap taburan keutamaan, ganjaran berbilang dimensi (bantuan, keselamatan, kejujuran yang dijaringkan secara berasingan) dan kaedah seperti Nash belajar daripada maklum balas manusia yang menjatuhkan andaian skor tunggal. DPO dan variannya semakin melipatgandakan objektif Bradley-Terry terus ke dalam latihan dasar. Jangkakan skim perbandingan yang lebih kaya, termasuk kedudukan lebih daripada dua item dan keutamaan berwajaran keyakinan, untuk mengurangkan penggodaman ganjaran.
Mempraktikkannya
Mengapa ia penting
- Keputusan yang lebih jelas. Ia membantu anda memisahkan tuntutan teknikal yang jelas daripada bahasa pemasaran.
- Kos dan bajet. Anda boleh bertanya soalan pelaksanaan yang lebih baik sebelum menghabiskan wang atau masa.
- Pasukan dan aliran kerja. Pasukan yang berkongsi pemahaman membuat keputusan produk, dasar dan pembelajaran yang lebih baik.
Berhati-hati untuk
- Pasukan yang berbeza mungkin menggunakan istilah yang sama secara berbeza, jadi tentukan skop lebih awal.
- Penanda aras boleh kelihatan kukuh manakala prestasi dunia sebenar tidak sekata.
- Mengabaikan kualiti data dan rancangan penilaian sering menghasilkan hasil yang rapuh.
Langkah seterusnya
- Mulakan dengan definisi bahasa biasa hasil yang anda perlukan.
- Pilih satu metrik kejayaan dan satu keadaan kegagalan sebelum ujian.
- Jalankan juruterbang kecil dengan data perwakilan, bukan set demo yang digilap.
- Dokumen di mana Bradley-Terry Reward Modelling membantu dan kaedah yang lebih mudah adalah lebih baik.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Bradley-Terry Reward Modeling quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Pemodelan Ganjaran Bradley-Terry?
Model Bradley-Terry ialah kaedah statistik berabad-abad untuk menukar perbandingan berpasangan (A mengalahkan B) kepada skor angka. Dalam AI moden ia menguasai model ganjaran yang mempelajari keutamaan manusia daripada 'jawapan mana yang lebih baik?' label, tulang belakang RLHF.
Apakah model Bradley-Terry ditukar kepada skor angka?
Bradley-Terry mengambil perbandingan berpasangan 'A mengalahkan B' dan membuat kesimpulan skor kekuatan tersembunyi untuk setiap item, itulah sebabnya ia sangat sesuai dengan pelabelan keutamaan manusia.
Dalam Bradley-Terry, kebarangkalian bahawa A mengalahkan B ialah fungsi apa?
Model menetapkan P(A berdegup B) sama dengan logistik (sigmoid) bagi perbezaan antara skor kekuatan tersembunyi A dan B.
Mengapakah ganjaran Bradley-Terry hanya boleh dikenal pasti sehingga pemalar aditif?
Kehilangan latihan hanya menggunakan perbezaan antara ganjaran yang dipilih dan ditolak, jadi mengalihkan semua skor dengan pemalar yang sama meninggalkan kerugian tidak berubah; skala mutlak adalah sewenang-wenangnya.
Apakah kerugian standard untuk perbandingan keutamaan tunggal dalam pemodelan ganjaran?
Kemungkinan log negatif Bradley-Terry mengurangkan kepada tolak log-sigmoid perbezaan ganjaran yang dipilih-tolak-ditolak, mendorong ganjaran respons yang dipilih lebih tinggi.
Kaedah yang manakah melangkau model ganjaran yang berasingan dengan mengoptimumkan objektif Bradley-Terry secara langsung pada dasar?
DPO merumuskan semula objektif keutamaan Bradley-Terry supaya ia boleh digunakan terus pada model dasar, menghapuskan keperluan untuk melatih dan bertanya model ganjaran kendiri.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini