What is Learning Rate? Definition | AI Understanding

Definitie

Een trainingshyperparameter die bepaalt hoeveel parameters elke updatestap wijzigen.

Gerelateerde termen

Een vector die aangeeft hoeveel elke parameter moet veranderen om het verlies te verminderen.

Een configuratiewaarde die vóór de training is ingesteld, zoals leersnelheid, batchgrootte of diepte.

Hoe goed een model presteert op nieuwe, onzichtbare gegevens buiten de trainingsset.

Parameter-efficiënte fijnafstemming (PEFT)

Methoden die modellen aanpassen door een kleine subset van toegevoegde parameters te trainen.

Een decoderingsalgoritme dat bij elke stap de bovenste verschillende kandidaatreeksen bewaart om uitvoer met een grotere waarschijnlijkheid te vinden.

Verlies Functie

Een wiskundig doel dat de voorspellingsfout tijdens de training kwantificeert.

Lees meer in onze gratis handleidingen

Deep Learning Reinforcement Learning Machine Learning Basics Supervised Learning

See also

Large Language Model (LLM)LoRA (Low-Rank Adaptation)Latency Label Smoothing Machine Learning (ML)Knowledge Graph Memory (Agent Memory)Knowledge Distillation

Blader door de volledige AI-woordenlijst Ontdek alle gratis AI-gidsen