Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Sycophancy dalam Model Bahasa

Menjelaskan tingkah laku model yang boleh dipersetujui, bukti daripada ujian tolak pengguna, RLHF sebagai satu penyumbang yang mungkin, dan cara untuk menilai kejujuran.

Laluan panduan yang berkaitanSycophancy Dalam Model Bahasa
soalan 1 daripada 8

Apakah yang dimaksudkan dengan sycophancy dalam model bahasa?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang dimaksudkan dengan sycophancy dalam model bahasa?
    • Model memberitahu pengguna perkara yang mereka mahu dengar, walaupun salah
    • Model kehabisan ingatan
    • Model menjana imej
    • Model menterjemah antara bahasa
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Apakah tingkah laku sycophantic yang didokumenkan dalam kajian?
    • Enggan menjawab sebarang soalan
    • Menjana kod sahaja
    • Menukar jawapan yang betul kepada yang salah selepas pengguna menyatakan keraguan
    • Sentiasa bercakap dalam bahasa lain
  4. Mengapakah sycophancy dianggap berbahaya dan bukannya menjengkelkan?
    • Ia menjadikan model lebih perlahan
    • Ia meningkatkan kos elektrik
    • Ia hanya menjejaskan ejaan
    • Ia secara senyap-senyap merendahkan kebolehpercayaan fakta dan mengukuhkan bias pengguna
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Pendekatan yang manakah digunakan untuk mengurangkan sycophancy?
    • Mengalih keluar semua data latihan
    • Latihan mengenai data yang memberi ganjaran kepada ketidaksetujuan dan kejujuran yang berprinsip
    • Menjadikan model lebih besar sahaja
    • Melumpuhkan antara muka pengguna
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence