What is Multi-Head Attention? Definition | AI Understanding

Definition

Ein Transformatormechanismus, der mehrere Aufmerksamkeitsoperationen parallel ausführt, um verschiedene Arten von Beziehungen zu erfassen.

Verwandte Begriffe

Eine neuronale Architektur, die Aufmerksamkeit nutzt, um Beziehungen über Sequenzen hinweg parallel zu modellieren.

Abruf mehrerer Abfragen

Eine Abruftechnik, die die Benutzerabfrage in mehrere Varianten umschreibt, um den Abruf zu verbessern.

Aufmerksamkeitsmechanismus

Eine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.

Blitzaufmerksamkeit

Ein optimierter Aufmerksamkeitsalgorithmus, der den Speicherverbrauch reduziert und das Transformatortraining und die Inferenz beschleunigt.

Multimodales Modell

Ein Modell, das mehrere Datentypen wie Text, Bild und Audio verarbeiten oder generieren kann.

Eine Diagrammstruktur aus Entitäten und Beziehungen, die zur Schlussfolgerung oder zum Abruf verwendet wird.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

See also

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

Durchsuchen Sie das vollständige KI-Glossar Entdecken Sie alle kostenlosen KI-Anleitungen