Optimasi Kahneman-Tversky
Kahneman-Tversky Optimization (KTO) adalah metode penyelarasan yang belajar dari label jempol ke atas atau jempol ke bawah, bukan perbandingan berpasangan.
Ikhtisar
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
Menyelam Lebih Dalam
KTO, yang diperkenalkan oleh Ethayarajh dan rekannya di Stanford dan Contextual AI pada tahun 2024, meminjam teori prospek, karya pemenang Nobel dari Daniel Kahneman dan Amos Tversky tentang bagaimana manusia menilai keuntungan dan kerugian. Metode standar seperti DPO memerlukan pasangan preferensi: jawaban yang dipilih dan jawaban yang ditolak untuk pertanyaan yang sama. Sebaliknya, KTO bekerja dengan data yang tidak berpasangan di mana setiap keluaran individual hanya ditandai sebagai diinginkan atau tidak diinginkan. Hal ini membangun kerugian yang disadari oleh manusia yang memperlakukan peningkatan model pada sampel sebagai keuntungan atau kerugian relatif terhadap titik referensi, menerapkan keengganan terhadap kerugian sehingga keluaran yang tidak diinginkan akan dikenakan sanksi lebih berat daripada keluaran yang diinginkan. Hal ini memungkinkan tim menggunakan banyak sinyal suka/tidak suka yang sudah dikumpulkan dalam aplikasi produksi.
Wawasan Teknis
KTO mendefinisikan fungsi nilai yang dimodelkan pada teori prospek, yang mengukur seberapa jauh imbalan tersirat dari suatu respons berada di atas atau di bawah garis dasar referensi (seringkali rata-rata perbedaan KL dari kebijakan referensi). Contoh yang diinginkan mendorong nilai naik, contoh yang tidak diinginkan menurunkannya, dan koefisien penghindaran kerugian membuat deviasi negatif menjadi lebih berat. Yang terpenting, ini hanya memerlukan label per contoh, bukan pasangan yang cocok.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Optimasi Kahneman-Tversky
KTO sangat cocok untuk produk nyata, di mana pengguna secara alami mengklik suka atau tidak suka tetapi jarang memberi peringkat pada dua jawaban secara berdampingan. Harapkan adopsi yang lebih luas untuk putaran perbaikan berkelanjutan yang mendaur ulang umpan balik produksi, ditambah penelitian yang menyesuaikan rasio data yang diinginkan hingga yang tidak diinginkan dan bobot keengganan terhadap kerugian. Menggabungkan kerangka perilaku-ekonomi KTO dengan tujuan lain, dan menerapkannya pada umpan balik multimoda, merupakan arah aktif ketika tim mencari keselarasan dari sinyal-sinyal dunia nyata yang berantakan.
Implementasi Dunia Nyata
Menggunakan klik yang disukai/tidak disukai dari chatbot yang diterapkan untuk menyempurnakannya tanpa harus membuat pasangan preferensi
Menyelaraskan model ketika Anda memiliki tumpukan jawaban 'baik' dan 'buruk' tetapi tidak ada perbandingan yang cocok untuk permintaan yang sama
Tim produk mendaur ulang tanda moderasi (tidak diinginkan) dan menyimpan tanggapan (diinginkan) ke dalam pelatihan KTO
Menangani umpan balik yang tidak seimbang di mana rasa tidak suka lebih jarang terjadi dibandingkan suka dengan menyesuaikan keengganan terhadap kerugian dan bobot kelas KTO
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Kahneman-Tversky Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Optimasi Preferensi Langsung
Pertanyaan yang sering diajukan
What is Kahneman-Tversky Optimization?
Kahneman-Tversky Optimization (KTO) adalah metode penyelarasan yang belajar dari label jempol ke atas atau jempol ke bawah, bukan perbandingan berpasangan. Hal ini penting karena umpan balik biner jauh lebih mudah dan murah untuk dikumpulkan dibandingkan pasangan peringkat yang diminta sebagian besar metode.
Jenis data apa yang dibutuhkan KTO?
KTO belajar dari label jempol ke atas/bawah per contoh yang sederhana, bukan pasangan preferensi yang cocok.
KTO terinspirasi dari karya yang mana?
KTO meminjam gagasan teori prospek yang menilai keuntungan dan kerugian secara asimetris, oleh karena itu dinamakan demikian.
Apa yang dimaksud dengan 'keengganan rugi' seperti yang digunakan di KTO?
Teori prospek mengatakan kerugian lebih besar daripada keuntungan, sehingga KTO lebih mempertimbangkan penyimpangan negatif.
Dibandingkan dengan DPO, KTO sangat berguna jika Anda punya apa?
KTO bersinar ketika umpan balik berupa sinyal biner tidak berpasangan, yang mana produk dikumpulkan jauh lebih mudah daripada pasangan berperingkat.
Di KTO, penyimpangan diukur relatif terhadap apa?
Fungsi nilai KTO menilai apakah suatu respons berada di atas atau di bawah garis dasar referensi, dan memperlakukannya sebagai keuntungan atau kerugian.