Тест, свързан с ръководство · трудно Ниво

YaRN и тест за разширяване на дължината на контекста

Проверява как YaRN настройва честотите на RoPE, запазва локалните детайли, мащабира температурата на вниманието и разширява контекста с фина настройка.

Свързани ръководни пътекиПрежда и удължаване на дължината на контекста
Въпрос 1 на 8

Какъв метод за кодиране на позиция променя YaRN, за да разшири контекста?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какъв метод за кодиране на позиция променя YaRN, за да разшири контекста?
    • Вграждане на ротационна позиция (RoPE)
    • Абсолютни синусоидални вграждания
    • Научени таблици за позиционно търсене
    • Само матрици на относителни отклонения
  2. Какво се обърка, когато модел RoPE вижда последователности, по-дълги от продължителността на обучението му?
    • Токенизаторът се срива
    • Ъглите на въртене влизат в невидими диапазони и производителността се срива
    • Моделът извежда само нули
    • Градиентите стават точно един
  3. Как YaRN третира различните честотни измерения на RoPE?
    • Той интерполира всички измерения еднакво
    • Изтрива високочестотни измерения
    • Той интерполира нискочестотни измерения, като същевременно запазва до голяма степен високочестотните
    • Той рандомизира всяко измерение
  4. Освен премащабиране на честотите, каква допълнителна корекция прилага YaRN?
    • Нов токенизатор
    • Удвояване на броя на слоевете
    • Премахване на нормализиране на слоя
    • Регулиране на температурата на вниманието (softmax мащабиране).
  5. Какво е ключово практическо предимство на YaRN пред простата интерполация?
    • Той достига до дълъг контекст с много по-малко данни и стъпки за фина настройка
    • Изобщо не се нуждае от модел
    • Работи само под 512 токена
    • Елиминира необходимостта от графични процесори
  6. Защо наивната линейна интерполация на всички RoPE честоти е вредна?
    • Това засяга само условията на отклонение
    • Той компресира високочестотни измерения, които кодират локални детайли
    • Това прави модела по-голям
    • Променя размера на речника
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context