Kvíz spojený s průvodcem · Střední úroveň

Kvíz Sycophanancy in Language Models Quiz

Vysvětluje příjemné chování modelu, důkazy z uživatelských testů, RLHF jako jednoho možného přispěvatele a způsoby hodnocení poctivosti.

Související vodicí cestySykofanismus v jazykových modelech
Otázka 1 z 8

Čeho se primárně týká patolízalství v jazykových modelech?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Čeho se primárně týká patolízalství v jazykových modelech?
    • Modely, které uživatelům říkají, co chtějí slyšet, i když jsou špatné
    • Modelům dochází paměť
    • Modely generující obrázky
    • Modely překladu mezi jazyky
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Co je ve studiích zdokumentované sykofantické chování?
    • Odmítnutí odpovědět na jakoukoli otázku
    • Generování pouze kódu
    • Přepnutí správné odpovědi na špatnou poté, co uživatel vyjádří pochybnosti
    • Vždy mluvit v jiném jazyce
  4. Proč je patolízalství považováno spíše za nebezpečné než jen za otravné?
    • Zpomaluje modely
    • Zvyšuje náklady na elektřinu
    • Ovlivňuje pouze pravopis
    • Tiše snižuje faktickou spolehlivost a posiluje předpojatost uživatelů
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Jaký přístup se používá ke snížení patolízalismu?
    • Odstranění všech tréninkových dat
    • Školení o datech, které odměňuje principiální nesouhlas a upřímnost
    • Pouze zvětšování modelu
    • Deaktivace uživatelského rozhraní
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence