AI-verklarende term

Wat is Flits aandacht?

Definitie

Een geoptimaliseerd aandachtsalgoritme dat het geheugengebruik vermindert en de training en gevolgtrekking van transformatoren versnelt.

Gerelateerde termen

Functiewinkel
Een beheerd systeem voor het consistent opslaan en aanbieden van gevalideerde ML-functies voor training en gevolgtrekking.
Terugpropagatie
Het kerntrainingsalgoritme dat modelgewichten bijwerkt door voorspellingsfouten achterwaarts door het netwerk te verspreiden.
Modelkwantisering
Het verminderen van de numerieke precisie van modelgewichten om de geheugen- en gevolgtrekkingskosten te verlagen.
Transformator
Een neurale architectuur die aandacht gebruikt om relaties tussen reeksen parallel te modelleren.
Trainingsverlies
De modelfoutwaarde die tijdens de training is berekend en in de loop van de tijd naar beneden is geoptimaliseerd.
Multi-head aandacht
Een transformatormechanisme dat meerdere aandachtsoperaties parallel uitvoert om verschillende soorten relaties vast te leggen.

Lees meer in onze gratis handleidingen

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Blader door de volledige AI-woordenlijstOntdek alle gratis AI-gidsen