Позиционна интерполация за тест с дълъг контекст

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Каква е основната идея зад позиционната интерполация?
   • Притискане на нови индекси на позиция в диапазона, върху който моделът вече е бил обучен
   • Обучение на чисто нов модел от нулата за всяка дължина
   • Пълно премахване на информацията за позицията
   • Сортиране на токени по важност
2. Защо наивната екстраполация към по-дълги позиции се проваля?
   • Използва твърде малко памет
   • Може да взриви резултатите за внимание до изключително големи, нестабилни стойности
   • Винаги връща един и същ токен
   • Изисква различен токенизатор
3. Приблизително колко фина настройка изисква оригиналната работа на PI, за да се разшири LLaMA до 32K?
   • Никаква фина настройка
   • Около 1 милион стъпки
   • Около 1000 стъпки
   • Пълно бягане преди тренировка
4. Ако разширите контекста с фактор s, как PI трансформира позиция m?
   • Той преобразува m на m пъти s
   • Той преобразува m на m на квадрат
   • Оставя m непроменен
   • Той преобразува m в m, разделено на s
5. Как PI повлия на по-късните методи като YaRN?
   • Това се превърна в основата, върху която се подобриха честотно ориентираните методи
   • Той беше изоставен и никога не е цитиран
   • Той замени архитектурата Transformer
   • Прилага се само за модели с изображения
6. Към кое позиционно кодиране е насочена предимно позиционната интерполация?
   • Еднократно кодиране
   • RoPE (Вграждане на ротационна позиция)
   • Word2Vec вектори
   • Торбата с думи се брои
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000