Yinelemeli DPO ve Çevrimiçi Tercih Ayarlama Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. DPO, geleneksel RLHF'nin (PPO) gerektirdiği neyi önler?
   • Ayrı bir açık ödül modelinin eğitimi
   • Herhangi bir eğitim verisi
   • Sinir ağını kullanma
   • Tamamen insan tercihleri
2. Neden yinelemeli (çevrimiçi) DPO genellikle DPO'yu sabit bir veri kümesinde bir kez çalıştırmaktan daha iyidir?
   • Tercih etiketlerine ihtiyaç duymaz
   • Model değiştikçe eğitim verilerini politikaya uygun ve güncel tutar
   • Referans modelini kaldırır
   • Yalnızca görseller için işe yarar
3. Referans modeli DPO kaybında nasıl bir rol oynuyor?
   • Nihai kullanıcı çıktısını üretir
   • Tercihleri etiketler
   • Sapmayı kontrol ederek politikayı log-olasılık oranı yoluyla sabitler
   • Tokenizerin yerini alıyor
4. Çevrimiçi DPO'nun tek bir yinelemesinde tipik sıra nedir?
   • Modeli silin ve ardından sıfırdan yeniden eğitin
   • Eski verileri yalnızca örnekleme olmadan yeniden etiketleyin
   • Yanıtlar konusunda bir CNN'yi eğitin
   • Yeni yanıtları örnekleyin, tercihleri değerlendirin ve ardından bir DPO güncellemesi çalıştırın
5. DPO kontrolünde beta hiperparametresi neyi kontrol eder?
   • Politikanın referans modelden ne kadar güçlü bir şekilde saptığı
   • Kelime büyüklüğü
   • GPU sayısı
   • Görüntü çözünürlüğü
6. 'Kendini ödüllendiren' yinelemeli DPO'nun ardındaki anahtar fikir nedir?
   • Model hiçbir zaman tercih kullanmaz
   • Model, eğitim verilerini oluşturmak için kendi yanıt çiftlerini oluşturur ve değerlendirir
   • İnsanlar her bir çifti etiketlemelidir
   • Yalnızca rastgele ödüller kullanır
7. Who can label response preferences in an online DPO iteration?
   • Only the tokenizer
   • Only the reference policy’s embedding layer
   • Human raters or an AI judge such as a reward model
   • A discriminator that never sees responses
8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
   • Training no model parameters
   • Removing all evaluation from the pipeline
   • Storing every possible response in advance
   • Repeated response generation and preference labeling between updates