What is Attention Mechanism? Definition | AI Understanding

Meghatározás

Modellkomponens, amely dinamikusan fókuszál a bemenet releváns részeire, amikor kimenetet állít elő.

Kapcsolódó kifejezések

A modell azon összetevője, amely a bemenetet látens reprezentációkká alakítja át.

Többfejű figyelem

Transzformátor mechanizmus, amely több figyelemi műveletet futtat párhuzamosan a különböző típusú kapcsolatok rögzítésére.

Pozíciós torzítási módszer, amely a token távolság alapján bünteti a figyelem pontszámait, és segít a modelleknek hosszabb összefüggésekre extrapolálni.

Olyan feladat, ahol egy modell egy vagy több előre meghatározott kategóriához rendel egy bemenetet.

Kontextus ablak

A nyelvi modell által egyszerre feldolgozható beviteli tokenek maximális száma.

A valós bemeneti adatok időbeli változása, amely ronthatja a modell teljesítményét.

Tudjon meg többet ingyenes útmutatóinkból

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót