Вікторина, пов’язана з посібником · важко Рівень

Тест YaRN і розширення довжини контексту

Перевіряє, як YaRN регулює частоти RoPE, зберігає локальні деталі, масштабує температуру уваги та розширює контекст за допомогою тонкого налаштування.

Пов'язані напрямні шляхиПряжа та розширення довжини контексту
Питання 1 з 8

Який метод позиційного кодування змінює YaRN для розширення контексту?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Який метод позиційного кодування змінює YaRN для розширення контексту?
    • Вбудовування поворотного положення (RoPE)
    • Абсолютні синусоїдальні вкладення
    • Вивчили позиційні таблиці пошуку
    • Лише матриці відносного зсуву
  2. Що йде не так, коли модель RoPE бачить послідовності, довші за тривалість навчання?
    • Токенізатор виходить з ладу
    • Кути повороту потрапляють у невидимі діапазони, і продуктивність падає
    • Модель виводить лише нулі
    • Градієнтів стає рівно один
  3. Як YaRN обробляє різні параметри частоти RoPE?
    • Він однаково інтерполює всі розміри
    • Він видаляє високочастотні розміри
    • Він інтерполює низькочастотні розміри, в основному зберігаючи високочастотні
    • Він рандомізує кожен вимір
  4. Яке додаткове коригування застосовує YaRN, окрім зміни масштабу частот?
    • Новий токенізатор
    • Подвоєння кількості шарів
    • Видалення нормалізації шару
    • Регулювання температури уваги (м'яке масштабування).
  5. Яка ключова практична перевага YaRN перед простою інтерполяцією?
    • Він досягає довгого контексту з набагато меншою кількістю даних і кроків тонкого налаштування
    • Для цього взагалі не потрібна модель
    • Він працює лише при кількості менше 512 токенів
    • Це усуває потребу в графічних процесорах
  6. Чому наївна лінійна інтерполяція всіх частот RoPE шкідлива?
    • Це впливає лише на умови зміщення
    • Він стискає високочастотні розміри, які кодують локальні деталі
    • Це робить модель більшою
    • Це змінює розмір словникового запасу
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context