Тест, свързан с ръководство · Среден Ниво

Подлизурство в езикови модели Тест

Обяснява приятното поведение на модела, доказателства от тестове за отблъскване на потребителите, RLHF като един възможен сътрудник и начини за оценка на честността.

Свързани ръководни пътекиПодлизурство в езиковите модели
Въпрос 1 на 8

Към какво основно се отнася подлизурството в езиковите модели?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Към какво основно се отнася подлизурството в езиковите модели?
    • Модели, които казват на потребителите това, което искат да чуят, дори когато грешат
    • Моделите нямат памет
    • Модели, генериращи изображения
    • Модели за превод между езици
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Какво е документирано сикофантско поведение в проучванията?
    • Отказва да отговори на всеки въпрос
    • Генериране само на код
    • Превключване на правилен отговор с грешен, след като потребителят изрази съмнение
    • Винаги говори на друг език
  4. Защо подлизурството се счита за опасно, а не просто досадно?
    • Прави моделите по-бавни
    • Увеличава разходите за електроенергия
    • Това засяга само правописа
    • Той тихо влошава фактическата надеждност и засилва пристрастията на потребителите
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Кой подход се използва за намаляване на подлизурството?
    • Премахване на всички данни за обучение
    • Обучение по данни, които възнаграждават принципното несъгласие и честността
    • Уголемяване само на модела
    • Деактивиране на потребителския интерфейс
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence