Wat is Snoeien?

Een aandachtspatroon waarbij elk token alleen betrekking heeft op een venster met een vaste grootte van nabijgelegen tokens om de rekenkracht te verminderen.

Een empirische relatie die laat zien hoe de prestaties verbeteren met de modelgrootte, gegevens of rekenkracht.

Een kleiner model dat is getraind om het gedrag van een groter model te imiteren en tegelijkertijd minder rekenkracht te gebruiken bij gevolgtrekking.

Het kerntrainingsalgoritme dat modelgewichten bijwerkt door voorspellingsfouten achterwaarts door het netwerk te verspreiden.

De verwerkingsbronnen die nodig zijn om modellen te trainen en uit te voeren, vaak gemeten in FLOPS- of GPU-uren.

Een vector die aangeeft hoeveel elke parameter moet veranderen om het verlies te verminderen.