What is Attention Mechanism? Definition | AI Understanding

Definicja

Komponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.

Powiązane terminy

Składnik modelu, który przekształca dane wejściowe w ukryte reprezentacje.

Uwaga wielogłowa

Mechanizm transformatorowy, który wykonuje równolegle kilka operacji uwagi w celu uchwycenia różnych typów relacji.

Metoda błędu pozycyjnego, która penalizuje wyniki uwagi na podstawie odległości symbolicznej, pomagając modelom ekstrapolować na dłuższe konteksty.

Zadanie, w którym model przypisuje dane wejściowe do jednej lub większej liczby predefiniowanych kategorii.

Okno kontekstowe

Maksymalna ilość tokenów wejściowych, które model języka może przetworzyć jednocześnie.

Zmiana rzeczywistych danych wejściowych w czasie, która może obniżyć wydajność modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Zobacz także

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI