Planlanmış Örnekleme ve Pozlama Önyargı Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Maruz kalma yanlılığı, öğretmenin zorlamasıyla eğitilen modellerin yalnızca aşağıdaki koşulları sağlaması nedeniyle ortaya çıkar:
   • Temel gerçeklik belirteçleri, ancak çıkarımda kendi belirteçlerini kullanmalıdır
   • Kendi tahmin edilen jetonları
   • Rastgele gürültü belirteçleri
   • Gelecek belirteçleri
2. Planlı örnekleme eğitim sırasında ne yapar?
   • Her zaman gerçek jetonu besler
   • Gerçek belirteç ile modelin kendi tahmini arasında rastgele seçim yapar
   • Kayıp fonksiyonunu periyodik olarak devre dışı bırakır
   • Zamanla öğrenme oranını iki katına çıkarır
3. Planlı örneklemede temel doğruluk jetonunu kullanma olasılığı eğitime göre nasıl değişir?
   • Sabit kalır
   • Düşükten başlayıp artıyor
   • Yüksekten başlar ve sıfıra doğru azalır
   • Rastgele salınım yapıyor
4. Planlı örneklemeyi kim başlattı ve kabaca ne zaman?
   • Vaswani ve diğerleri, 2017
   • Hinton ve diğerleri, 2006
   • LeCun ve diğerleri, 1998
   • Bengio ve diğerleri, 2015
5. Örneklenmiş jetonların eğitim sırasında geri beslenmesinin bilinen bir teknik dezavantajı şudur:
   • Ayrık örnekleme adımı farklılaştırılamaz, gradyanları karmaşıklaştırır
   • Eğitimi tamamen deterministik hale getirir
   • Doğrulama verisi gerektirmez
   • Gömme ihtiyacını ortadan kaldırır
6. Öğretmenin zorlama olasılığını azaltmak için yaygın olarak hangi program şekline başvurulur?
   • Sabit
   • Ters sigmoid bozunma
   • Kademeli doğrusal artış
   • Rastgele yürüyüş
7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
   • The next ground-truth token every time
   • A token from a separate validation sequence
   • A token sampled from the model’s predicted distribution
   • The average of all vocabulary embeddings
8. Why does scheduled sampling usually begin with a high probability of using ground truth?
   • It guarantees unbiased gradients
   • It removes the need for a training schedule
   • It makes inference use ground-truth tokens
   • Early predictions are poor, so a correct prefix can stabilize initial learning