SelanjutnyaPanduan berikutnya
Optimasi Preferensi Langsung
Bahasa AI
PANDUAN AI Bahasa
Optimasi Kahneman-Tversky
Kahneman-Tversky Optimization (KTO) adalah metode penyelarasan yang belajar dari label jempol ke atas atau jempol ke bawah, bukan perbandingan berpasangan.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Hal ini penting karena umpan balik biner jauh lebih mudah dan murah untuk dikumpulkan dibandingkan pasangan peringkat yang diminta sebagian besar metode.
Menyelam Lebih Dalam
KTO, yang diperkenalkan oleh Ethayarajh dan rekannya di Stanford dan Contextual AI pada tahun 2024, meminjam teori prospek, karya pemenang Nobel dari Daniel Kahneman dan Amos Tversky tentang bagaimana manusia menilai keuntungan dan kerugian. Metode standar seperti DPO memerlukan pasangan preferensi: jawaban yang dipilih dan jawaban yang ditolak untuk pertanyaan yang sama. Sebaliknya, KTO bekerja dengan data yang tidak berpasangan di mana setiap keluaran individual hanya ditandai sebagai diinginkan atau tidak diinginkan. Hal ini membangun kerugian yang disadari oleh manusia yang memperlakukan peningkatan model pada sampel sebagai keuntungan atau kerugian relatif terhadap titik referensi, menerapkan keengganan terhadap kerugian sehingga keluaran yang tidak diinginkan akan dikenakan sanksi lebih berat daripada keluaran yang diinginkan. Hal ini memungkinkan tim menggunakan banyak sinyal suka/tidak suka yang sudah dikumpulkan dalam aplikasi produksi.
Implementasi Dunia Nyata
Menggunakan klik yang disukai/tidak disukai dari chatbot yang diterapkan untuk menyempurnakannya tanpa harus membuat pasangan preferensi
Menyelaraskan model ketika Anda memiliki tumpukan jawaban 'baik' dan 'buruk' tetapi tidak ada perbandingan yang cocok untuk permintaan yang sama
Tim produk mendaur ulang tanda moderasi (tidak diinginkan) dan menyimpan tanggapan (diinginkan) ke dalam pelatihan KTO
Menangani umpan balik yang tidak seimbang di mana rasa tidak suka lebih jarang terjadi dibandingkan suka dengan menyesuaikan keengganan terhadap kerugian dan bobot kelas KTO
Masa Depan Optimasi Kahneman-Tversky
KTO sangat cocok untuk produk nyata, di mana pengguna secara alami mengklik suka atau tidak suka tetapi jarang memberi peringkat pada dua jawaban secara berdampingan. Harapkan adopsi yang lebih luas untuk putaran perbaikan berkelanjutan yang mendaur ulang umpan balik produksi, ditambah penelitian yang menyesuaikan rasio data yang diinginkan hingga yang tidak diinginkan dan bobot keengganan terhadap kerugian. Menggabungkan kerangka perilaku-ekonomi KTO dengan tujuan lain, dan menerapkannya pada umpan balik multimoda, merupakan arah aktif ketika tim mencari keselarasan dari sinyal-sinyal dunia nyata yang berantakan.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
- Akses dan jangkauan. Ini memperluas akses lintas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Hati-hati
- Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
- Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
- Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Langkah selanjutnya
- Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
- Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
- Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
- Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Kahneman-Tversky Optimization quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Optimasi Kahneman-Tversky?
Kahneman-Tversky Optimization (KTO) adalah metode penyelarasan yang belajar dari label jempol ke atas atau jempol ke bawah, bukan perbandingan berpasangan. Hal ini penting karena umpan balik biner jauh lebih mudah dan murah untuk dikumpulkan dibandingkan pasangan peringkat yang diminta sebagian besar metode.
Jenis data apa yang dibutuhkan KTO?
KTO belajar dari label jempol ke atas/bawah per contoh yang sederhana, bukan pasangan preferensi yang cocok.
KTO terinspirasi dari karya yang mana?
KTO meminjam gagasan teori prospek yang menilai keuntungan dan kerugian secara asimetris, oleh karena itu dinamakan demikian.
Apa yang dimaksud dengan 'keengganan rugi' seperti yang digunakan di KTO?
Teori prospek mengatakan kerugian lebih besar daripada keuntungan, sehingga KTO lebih mempertimbangkan penyimpangan negatif.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
Di KTO, penyimpangan diukur relatif terhadap apa?
Fungsi nilai KTO menilai apakah suatu respons berada di atas atau di bawah garis dasar referensi, dan memperlakukannya sebagai keuntungan atau kerugian.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini