What is Sliding Window Attention? Definition | AI Understanding

Definicja

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Powiązane terminy

Usuwanie mniej ważnych wag modelu lub neuronów w celu zmniejszenia rozmiaru i obliczeń.

Rozliczenia oparte na wykorzystaniu

Ceny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.

Prawo skalowania

Zależność empiryczna pokazująca, jak wydajność poprawia się wraz z rozmiarem modelu, danymi lub obliczeniami.

Model, w którym wiele parametrów ma wartość zerową lub jest nieaktywnych, aby ograniczyć obliczenia.

Dekodowanie spekulatywne

Metoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Okno kontekstowe

Maksymalna ilość tokenów wejściowych, które model języka może przetworzyć jednocześnie.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Zobacz także

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI