Wat is Verloop?

Een trainingshyperparameter die bepaalt hoeveel parameters elke updatestap wijzigen.

Een empirische relatie die laat zien hoe de prestaties verbeteren met de modelgrootte, gegevens of rekenkracht.

Een aandachtspatroon waarbij elk token alleen betrekking heeft op een venster met een vaste grootte van nabijgelegen tokens om de rekenkracht te verminderen.

Een generatieve opstelling waarbij een generator en discriminator tegen elkaar trainen.

Hoe goed een model presteert op nieuwe, onzichtbare gegevens buiten de trainingsset.

Een optimalisatiemethode die parameters bijwerkt in de richting waarin fouten worden verminderd.