What is Flash Attention? Definition | AI Understanding

Meghatározás

Optimalizált figyelési algoritmus, amely csökkenti a memóriahasználatot, és felgyorsítja a transzformátor betanítását és következtetéseit.

Kapcsolódó kifejezések

Felügyelt rendszer az érvényesített ML-funkciók következetes tárolására és kiszolgálására a betanítás és a következtetés céljából.

Visszaszaporítás

Az alapvető betanítási algoritmus, amely frissíti a modell súlyait az előrejelzési hibáknak a hálózaton keresztül történő visszafelé terjesztésével.

Modell kvantálás

A modellsúlyok numerikus pontosságának csökkentése a memória és a következtetési költségek csökkentése érdekében.

Transzformátor

Egy neurális architektúra, amely figyelmet fordít a szekvenciák közötti kapcsolatok párhuzamos modellezésére.

Edzési veszteség

A modell hibaértéke, amelyet a képzés során számítottak ki, és idővel lefelé optimalizálták.

Többfejű figyelem

Transzformátor mechanizmus, amely több figyelemi műveletet futtat párhuzamosan a különböző típusú kapcsolatok rögzítésére.

Tudjon meg többet ingyenes útmutatóinkból

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

QLoRA DPO (Direct Preference Optimization)Positional Encoding Tree of Thoughts RoPE (Rotary Positional Embeddings)ReAct ALiBi Agentic Loop

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót