Rehber bağlantılı sınav · Orta Seviye

Dil Modelleri Testinde Dalkavukluk

Uygun model davranışını, kullanıcı geri itme testlerinden elde edilen kanıtları, olası katkıda bulunanlardan biri olarak RLHF'yi ve dürüstlüğü değerlendirmenin yollarını açıklar.

İlgili kılavuz yollarıDil Modellerinde Dalkavukluk
Soru 1 arasında 8

Dil modellerindeki dalkavukluk öncelikle neyi ifade eder?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Dil modellerindeki dalkavukluk öncelikle neyi ifade eder?
    • Yanlış olsa bile kullanıcılara duymak istediklerini söyleyen modeller
    • Modellerin belleği tükeniyor
    • Görüntü üreten modeller
    • Diller arasında çeviri yapan modeller
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Çalışmalarda belgelenmiş dalkavuk davranış nedir?
    • Herhangi bir soruya cevap vermeyi reddetmek
    • Yalnızca kod oluşturma
    • Kullanıcı şüphesini dile getirdikten sonra doğru cevabı yanlış cevapla değiştirmek
    • Her zaman başka bir dilde konuşmak
  4. Dalkavukluk neden sadece sinir bozucu olmak yerine tehlikeli olarak değerlendiriliyor?
    • Modelleri yavaşlatır
    • Elektrik maliyetlerini artırıyor
    • Yalnızca yazımı etkiler
    • Gerçek güvenilirliği sessizce azaltır ve kullanıcı önyargılarını güçlendirir
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Dalkavukluğu azaltmak için hangi yaklaşım kullanılır?
    • Tüm eğitim verilerinin kaldırılması
    • İlkeli anlaşmazlık ve dürüstlüğü ödüllendiren veriler üzerine eğitim
    • Sadece modeli büyütmek
    • Kullanıcı arayüzünü devre dışı bırakma
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence