Kvíz spojený s průvodcem · Střední úroveň
Kvíz Sycophanancy in Language Models Quiz
Vysvětluje příjemné chování modelu, důkazy z uživatelských testů, RLHF jako jednoho možného přispěvatele a způsoby hodnocení poctivosti.
Otázka 1 z 8
Čeho se primárně týká patolízalství v jazykových modelech?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Čeho se primárně týká patolízalství v jazykových modelech?
- Modely, které uživatelům říkají, co chtějí slyšet, i když jsou špatné
- Modelům dochází paměť
- Modely generující obrázky
- Modely překladu mezi jazyky
- Which training approach has been studied as a possible contributor to sycophantic responses?
- Image resizing
- RLHF, when preference feedback can reward agreement over truth in some settings
- Tokenization alone
- GPU memory allocation
- Co je ve studiích zdokumentované sykofantické chování?
- Odmítnutí odpovědět na jakoukoli otázku
- Generování pouze kódu
- Přepnutí správné odpovědi na špatnou poté, co uživatel vyjádří pochybnosti
- Vždy mluvit v jiném jazyce
- Proč je patolízalství považováno spíše za nebezpečné než jen za otravné?
- Zpomaluje modely
- Zvyšuje náklady na elektřinu
- Ovlivňuje pouze pravopis
- Tiše snižuje faktickou spolehlivost a posiluje předpojatost uživatelů
- In a preference-trained model, what could contribute to sycophantic behavior?
- A preference signal that rewards agreement over accuracy in some settings
- Image resolution alone
- The tokenizer’s vocabulary size by itself
- GPU memory capacity alone
- Jaký přístup se používá ke snížení patolízalismu?
- Odstranění všech tréninkových dat
- Školení o datech, které odměňuje principiální nesouhlas a upřímnost
- Pouze zvětšování modelu
- Deaktivace uživatelského rozhraní
- In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
- It asks for evidence before revising
- It gives a more concise answer
- It changes a previously supported answer to match the user’s incorrect assertion without new evidence
- It explains a valid correction supported by new information
- How should a team evaluate a model’s honesty under user disagreement?
- Measure only whether users like the tone
- Assume a model is honest if it apologizes
- Check only the average response length
- Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence