Позиційна інтерполяція для довгоконтекстної вікторини

Відповіді та пояснення з’являються під час виконання тесту.

1. Яка основна ідея позиційної інтерполяції?
   • Стиснення нових позиційних індексів у діапазон, на якому модель уже навчалася
   • Навчання абсолютно нової моделі з нуля для кожної довжини
   • Повне видалення позиційної інформації
   • Сортування токенів за важливістю
2. Чому наївна екстраполяція на довші позиції зазнає невдачі?
   • Він використовує занадто мало пам'яті
   • Це може підірвати показники уваги до надзвичайно великих, нестабільних значень
   • Він завжди повертає той самий маркер
   • Для цього потрібен інший токенізатор
3. Приблизно скільки точного налаштування вимагала оригінальна робота PI, щоб розширити LLaMA до 32K?
   • Без тонкої настройки взагалі
   • Близько 1 мільйона кроків
   • Близько 1000 кроків
   • Повна передтренувальна пробіжка
4. Якщо ви розширюєте контекст на коефіцієнт s, як PI перетворює позицію m?
   • Він відображає m на m, помножене на s
   • Він відображає m на m у квадраті
   • Він залишає m без змін
   • Він відображає m на m, поділене на s
5. Як PI вплинув на такі пізніші методи, як YaRN?
   • Це стало основою, на якій удосконалилися методи з урахуванням частоти
   • Він був залишений і ніколи не цитувався
   • Він замінив архітектуру Transformer
   • Це стосується лише іміджевих моделей
6. На яке позиційне кодування в першу чергу націлена позиційна інтерполяція?
   • Одночасне кодування
   • RoPE (вбудовування поворотного положення)
   • Вектори Word2Vec
   • Сумка слів має значення
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000