Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący pochlebstw w modelach językowych

Wyjaśnia akceptowalne zachowanie modelu, dowody z testów wypychania przez użytkowników, RLHF jako jednego z możliwych czynników oraz sposoby oceny uczciwości.

Powiązane ścieżki prowadzącePochlebstwo w modelach językowych
Pytanie 1 z 8

Do czego przede wszystkim odnosi się pochlebstwo w modelach językowych?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Do czego przede wszystkim odnosi się pochlebstwo w modelach językowych?
    • Modele mówiące użytkownikom to, co chcą usłyszeć, nawet jeśli się mylą
    • W modelach zabrakło pamięci
    • Modele generujące obrazy
    • Modele tłumaczące między językami
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Jakie jest udokumentowane w badaniach pochlebcze zachowanie?
    • Odmowa odpowiedzi na jakiekolwiek pytanie
    • Generowanie samego kodu
    • Zamiana odpowiedzi prawidłowej na błędną po wyrażeniu przez użytkownika wątpliwości
    • Zawsze mówię w innym języku
  4. Dlaczego pochlebstwa są uważane za niebezpieczne, a nie irytujące?
    • To spowalnia modele
    • Zwiększa koszty energii elektrycznej
    • Wpływa to tylko na pisownię
    • Po cichu obniża to wiarygodność faktów i wzmacnia uprzedzenia użytkowników
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Jakie podejście stosuje się w celu ograniczenia pochlebstwa?
    • Usuwanie wszystkich danych treningowych
    • Szkolenie na danych, które nagradza zasadniczą niezgodę i uczciwość
    • Tylko powiększenie modelu
    • Wyłączanie interfejsu użytkownika
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence