Kuis terkait panduan · Sedang Tingkat

Penjilatan dalam Kuis Model Bahasa

Menjelaskan perilaku model yang sesuai, bukti dari pengujian pushback pengguna, RLHF sebagai salah satu kontributor yang mungkin, dan cara untuk mengevaluasi kejujuran.

Jalur panduan terkaitPenjilatan Dalam Model Bahasa
Pertanyaan 1 dari 8

Apa yang dimaksud dengan penjilatan dalam model bahasa?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang dimaksud dengan penjilatan dalam model bahasa?
    • Model memberi tahu pengguna apa yang ingin mereka dengar, meskipun salah
    • Model kehabisan memori
    • Model menghasilkan gambar
    • Model menerjemahkan antar bahasa
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Apa yang dimaksud dengan perilaku penjilat yang terdokumentasi dalam penelitian?
    • Menolak untuk menjawab pertanyaan apa pun
    • Hanya menghasilkan kode
    • Mengganti jawaban yang benar ke jawaban yang salah setelah pengguna menyatakan keraguan
    • Selalu berbicara dalam bahasa lain
  4. Mengapa penjilatan dianggap berbahaya dan bukan sekadar mengganggu?
    • Itu membuat model lebih lambat
    • Ini meningkatkan biaya listrik
    • Itu hanya mempengaruhi ejaan
    • Hal ini secara diam-diam menurunkan keandalan faktual dan memperkuat bias pengguna
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Pendekatan manakah yang digunakan untuk mengurangi penjilatan?
    • Menghapus semua data pelatihan
    • Pelatihan tentang data yang menghargai ketidaksepakatan dan kejujuran yang berprinsip
    • Hanya membuat modelnya lebih besar
    • Menonaktifkan antarmuka pengguna
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence