What is ALiBi? Definition | AI Understanding

Definicja

Metoda błędu pozycyjnego, która penalizuje wyniki uwagi na podstawie odległości symbolicznej, pomagając modelom ekstrapolować na dłuższe konteksty.

Powiązane terminy

Lina (obrotowe osadzenie pozycyjne)

Metoda kodowania pozycyjnego, która obraca wektory zapytań i kluczy w celu zakodowania względnych pozycji tokenów.

Kodowanie pozycyjne

Informacje dodane do osadzania tokenów, aby transformatory mogły rozróżnić kolejność sekwencji.

Uwaga na przesuwane okno

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Błąd algorytmiczny

Systematyczna niesprawiedliwość wyników modelu spowodowana wypaczonymi danymi, założeniami lub wyborami dotyczącymi modelowania.

Mechanizm uwagi

Komponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.

Spójny wzorzec błędów lub nieuczciwości w danych lub zachowaniu modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

ALiBi Position Bias

Zobacz także

BPE (Byte Pair Encoding)Multi-Head Attention SentencePiece Flash Attention ANN (Approximate Nearest Neighbor)QLoRA HNSW DPO (Direct Preference Optimization)

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI