KI-Glossarbegriff

Was ist Mehrköpfige Aufmerksamkeit?

Definition

Ein Transformatormechanismus, der mehrere Aufmerksamkeitsoperationen parallel ausführt, um verschiedene Arten von Beziehungen zu erfassen.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

TransformatorEine neuronale Architektur, die Aufmerksamkeit nutzt, um Beziehungen über Sequenzen hinweg parallel zu modellieren.Abruf mehrerer AbfragenEine Abruftechnik, die die Benutzerabfrage in mehrere Varianten umschreibt, um den Abruf zu verbessern.AufmerksamkeitsmechanismusEine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.BlitzaufmerksamkeitEin optimierter Aufmerksamkeitsalgorithmus, der den Speicherverbrauch reduziert und das Transformatortraining und die Inferenz beschleunigt.Multimodales ModellEin Modell, das mehrere Datentypen wie Text, Bild und Audio verarbeiten oder generieren kann.WissensgraphEine Diagrammstruktur aus Entitäten und Beziehungen, die zur Schlussfolgerung oder zum Abruf verwendet wird.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Siehe auch

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct