Termin ze słownika AI

Czym jest Uwaga na przesuwane okno?

Definicja

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

PrzycinanieUsuwanie mniej ważnych wag modelu lub neuronów w celu zmniejszenia rozmiaru i obliczeń.Rozliczenia oparte na wykorzystaniuCeny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.Prawo skalowaniaZależność empiryczna pokazująca, jak wydajność poprawia się wraz z rozmiarem modelu, danymi lub obliczeniami.Rzadki modelModel, w którym wiele parametrów ma wartość zerową lub jest nieaktywnych, aby ograniczyć obliczenia.Dekodowanie spekulatywneMetoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.Okno kontekstoweMaksymalna ilość tokenów wejściowych, które model języka może przetworzyć jednocześnie.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Zobacz także

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW