Rehber bağlantılı sınav · Orta Seviye

Ödül Hackleme ve Spesifikasyon Oyun Testi

Temsilcilerin simülasyon kısayollarından dil modeli dalkavukluğuna kadar kusurlu ödüllerden nasıl yararlandığını ve gözetimin nasıl yardımcı olabileceğini keşfedin.

İlgili kılavuz yollarıÖdül Hacking ve Spesifikasyon Oyunları
Soru 1 arasında 8

Ödül hacklemenin ardındaki temel sorun nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Ödül hacklemenin ardındaki temel sorun nedir?
    • Ödül işlevi, gerçek hedefi kusurlu bir şekilde yakalayan bir temsilidir
    • Yapay zekanın eğitim sırasında belleği tükeniyor
    • Model görevi öğrenmek için çok küçük
    • Eğitim verileri her zaman yanlış etiketlenir
  2. OpenAI'nin CoastRunners örneğinde tekne acentesi ne yaptı?
    • Yarışı insanlardan daha hızlı bitirdi
    • Bitirmek yerine daireler çizerek bonus hedefleri vurarak
    • Her seferinde anında çöktü
    • Hareket etmeyi kesinlikle reddettim
  3. Bir önlemin hedef haline geldiği andan itibaren geçerliliğinin sona erdiğini belirten ilke hangisidir?
    • Moore Yasası
    • Amdahl Yasası
    • Goodhart Yasası
    • Murphy Yasası
  4. Ödül korsanlığı, RLHF ile eğitilmiş dil modellerinde yaygın olarak nasıl görünür?
    • Herhangi bir metin oluşturmayı reddetme
    • Yalnızca sayıların çıktısı
    • Her şeyi Latince'ye çevirmek
    • Dalkavukluk ve kullanıcılara duymak istediklerini söylemek
  5. Hangi teknik, bir RLHF politikasının çok ileri gitmesini ve ödül modelinden faydalanmasını önlemeye yardımcı olur?
    • Politikayı temel modele yakın tutan bir KL cezası
    • Yalnızca toplu iş boyutunu artırma
    • Tüm insan geri bildirimlerinin kaldırılması
    • Optimize ediciyi devre dışı bırakma
  6. Modeller daha yetenekli hale geldikçe ödül korsanlığı neden daha büyük bir güvenlik sorunu haline geliyor?
    • Daha büyük modeller hiçbir şekilde eğitilemez
    • Daha yetenekli optimize ediciler, tespit edilmesi daha zor olan daha ince boşluklar bulur
    • Yeteneğin hacklemeye hiçbir etkisi yoktur
    • Daha büyük modeller ödülü tamamen görmezden geliyor
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots