Interpolacja pozycyjna dla quizu z długim kontekstem

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest podstawowa idea interpolacji pozycyjnej?
   • Wciśnięcie nowych indeksów pozycji do zakresu, w którym model był już trenowany
   • Szkolenie zupełnie nowego modelu od podstaw dla każdej długości
   • Całkowite usunięcie informacji o pozycji
   • Sortowanie tokenów według ważności
2. Dlaczego naiwna ekstrapolacja na dłuższe pozycje kończy się niepowodzeniem?
   • Zużywa zbyt mało pamięci
   • Może wysadzić wyniki uwagi do bardzo dużych, niestabilnych wartości
   • Zawsze zwraca ten sam token
   • Wymaga innego tokenizera
3. Mniej więcej, ile dostrojenia wymagała oryginalna praca PI, aby rozszerzyć LLaMA do 32K?
   • Żadnego dostrajania w ogóle
   • Około 1 miliona kroków
   • Około 1000 kroków
   • Pełny bieg przedtreningowy
4. Jeśli rozszerzysz kontekst o współczynnik s, w jaki sposób PI przekształci pozycję m?
   • Odwzorowuje m na m razy s
   • Odwzorowuje m na m do kwadratu
   • Pozostawia m bez zmian
   • Odwzorowuje m na m podzielone przez s
5. Jak PI wpłynęło na późniejsze metody, takie jak YaRN?
   • Stało się to podstawą udoskonalenia metod uwzględniających częstotliwość
   • Został porzucony i nigdy nie cytowany
   • Zastąpił architekturę Transformer
   • Dotyczy tylko modeli obrazu
6. Które kodowanie pozycji jest przede wszystkim ukierunkowane na interpolację pozycyjną?
   • Jedno gorące kodowanie
   • Lina (osadzenia w pozycji obrotowej)
   • Wektory Word2Vec
   • Liczy się worek słów
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000