What is Multi-Head Attention? Definition | AI Understanding

Definicja

Mechanizm transformatorowy, który wykonuje równolegle kilka operacji uwagi w celu uchwycenia różnych typów relacji.

Powiązane terminy

Architektura neuronowa, która skupia uwagę na równoległym modelowaniu relacji między sekwencjami.

Pobieranie wielu zapytań

Technika wyszukiwania polegająca na przepisaniu zapytania użytkownika na kilka wariantów w celu lepszego zapamiętywania.

Mechanizm uwagi

Komponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.

Błyskawiczna uwaga

Zoptymalizowany algorytm uwagi, który zmniejsza zużycie pamięci i przyspiesza uczenie i wnioskowanie transformatora.

Model multimodalny

Model, który może przetwarzać lub generować wiele typów danych, takich jak tekst, obraz i dźwięk.

Struktura wykresu jednostek i relacji używana do wnioskowania lub wyszukiwania.

Dowiedz się więcej z naszych bezpłatnych przewodników

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

Zobacz także

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI