Quiz połączony z przewodnikiem · Średni Poziom
Quiz dotyczący stronniczości stanowiska ALiBi
Sprawdź, jak ALiBi dodaje błędy uwagi oparte na odległości i obsługuje dłuższe sekwencje wnioskowania bez wyuczonych tabel pozycji bezwzględnych.
Pytanie 1 z 8
Co oznacza ALiBi?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Co oznacza ALiBi?
- Uwaga z odchyleniami liniowymi
- Adaptacyjne odchylenie liniowe
- Wyrównane kodowanie dwukierunkowe
- Absolutne indeksowanie liniowe
- W jaki sposób ALiBi karze odległe tokeny?
- Zerowanie osadzania poza ustalonym oknem
- Dodając karę proporcjonalną do odległości pomiędzy zapytaniem a kluczowymi pozycjami
- Ucząc się osobnego osadzania dla każdej pozycji
- Obracając wektory zapytania i klucza
- Jaka jest najbardziej znana praktyczna zaleta ALiBi?
- Eliminuje potrzebę stosowania softmaxu
- Sprawia, że uwaga koncentruje się na ciągłej pamięci
- Dobrze ekstrapoluje sekwencje dłuższe niż te obserwowane podczas treningu
- Eliminuje potrzebę skupiania uwagi na wielu głowach
- Czym różni się liniowe odchylenie w głowach uwagi?
- Każda głowa ma dokładnie to samo nachylenie
- Stoków uczymy się podczas treningu
- Tylko pierwsza głowa otrzymuje uprzedzenie
- Każda głowa ma swoje własne stałe nachylenie, tworząc sekwencję geometryczną
- W porównaniu do tradycyjnego osadzania pozycyjnego, ALiBi dodaje ile wyuczonych parametrów?
- Brak — nachylenia odchylenia są stałe, a nie wyuczone
- Po jednym na stanowisko
- Jeden na token
- Po dwa na każdą głowę uwagi
- Który znany duży model używał ALiBi do informacji o pozycji?
- GPT-2
- ROZkwit
- BERT
- Word2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position