Termin ze słownika AI

Czym jest Mechanizm uwagi?

Definicja

Komponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

KoderSkładnik modelu, który przekształca dane wejściowe w ukryte reprezentacje.Uwaga wielogłowaMechanizm transformatorowy, który wykonuje równolegle kilka operacji uwagi w celu uchwycenia różnych typów relacji.AlibiMetoda błędu pozycyjnego, która penalizuje wyniki uwagi na podstawie odległości symbolicznej, pomagając modelom ekstrapolować na dłuższe konteksty.KlasyfikacjaZadanie, w którym model przypisuje dane wejściowe do jednej lub większej liczby predefiniowanych kategorii.Okno kontekstoweMaksymalna ilość tokenów wejściowych, które model języka może przetworzyć jednocześnie.Dryf danychZmiana rzeczywistych danych wejściowych w czasie, która może obniżyć wydajność modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Zobacz także

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark