Тест за засилване на ученето от човешка обратна връзка

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Каква е основната цел на RLHF за езиков модел?
   • Да приведе резултатите си в съответствие с човешките предпочитания за полезност и безопасност
   • За да увеличите броя на параметрите на модела
   • За компресиране на модела за по-бързо заключение
   • За да преведете модела на други езици
2. Какво всъщност се научава да прави моделът на възнаграждение в RLHF?
   • Генерирайте окончателните отговори на потребителите
   • Преведете подканите във валута за награда
   • Задайте скаларна оценка, отразяваща колко хора биха предпочели даден отговор
   • Определете скоростта на обучение на модела
3. Какво има за цел да регулира санкцията за KL-дивергенция срещу референтна политика в цел на RLHF?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Как обикновено се събират данните за предпочитанията за модела на възнаграждение?
   • Хората пишат чисто нови отговори от нулата
   • Моделът оценява собствената си увереност
   • Произволни етикети се присвояват автоматично
   • Хората сравняват два модела отговора на една и съща подкана и избират по-добрия
5. Какво предимство предлага DPO (Direct Preference Optimization) пред класическия RLHF тръбопровод?
   • Изобщо не изисква данни
   • Това гарантира, че моделът никога не може да греши
   • Той оптимизира политиката директно от двойки предпочитания, като пропуска отделен модел на възнаграждение и PPO цикъл
   • Елиминира необходимостта от предварителна подготовка
6. В RLAIF и Конституционния AI откъде идва голяма част от обратната връзка?
   • От AI модел, генериращ или критикуващ отговори, намаляване на етикетирането на хора
   • Само от платени човешки анотатори
   • От генератори на произволни числа
   • Директно от предварителния корпус на модела
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression