Termin ze słownika AI

Czym jest Alibi?

Definicja

Metoda błędu pozycyjnego, która penalizuje wyniki uwagi na podstawie odległości symbolicznej, pomagając modelom ekstrapolować na dłuższe konteksty.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Lina (obrotowe osadzenie pozycyjne)Metoda kodowania pozycyjnego, która obraca wektory zapytań i kluczy w celu zakodowania względnych pozycji tokenów.Kodowanie pozycyjneInformacje dodane do osadzania tokenów, aby transformatory mogły rozróżnić kolejność sekwencji.Uwaga na przesuwane oknoWzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.Błąd algorytmicznySystematyczna niesprawiedliwość wyników modelu spowodowana wypaczonymi danymi, założeniami lub wyborami dotyczącymi modelowania.Mechanizm uwagiKomponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.StronniczośćSpójny wzorzec błędów lub nieuczciwości w danych lub zachowaniu modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

ALiBi Position Bias

Zobacz także

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)