KI-Glossarbegriff

Was ist Aufmerksamkeitsmechanismus?

Definition

Eine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

EncoderDie Komponente eines Modells, die Eingaben in latente Darstellungen umwandelt.Mehrköpfige AufmerksamkeitEin Transformatormechanismus, der mehrere Aufmerksamkeitsoperationen parallel ausführt, um verschiedene Arten von Beziehungen zu erfassen.AlibiEine Positionsbias-Methode, die Aufmerksamkeitswerte basierend auf der Token-Distanz bestraft und so Modellen hilft, auf längere Kontexte zu extrapolieren.KlassifizierungEine Aufgabe, bei der ein Modell eine Eingabe einer oder mehreren vordefinierten Kategorien zuordnet.KontextfensterDie maximale Anzahl an Eingabetokens, die ein Sprachmodell gleichzeitig verarbeiten kann.DatendriftEine Verschiebung der realen Eingabedaten im Laufe der Zeit, die die Modellleistung beeinträchtigen kann.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Siehe auch

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark