VolgendeVolgende gids
AI gebruiken om natuurkundige problemen op te lossen
Toepassingen
Technische GIDS
De Straight-Through Estimator (STE) is een eenvoudige truc voor trainingsnetwerken die harde, niet-differentieerbare stappen bevatten, zoals afronding of drempelwaarde.
Luister naar deze gidsAI-verteld · ~2 min
Het gebruikt de discrete waarde bij de voorwaartse doorgang, maar doet alsof de bewerking de identiteit was bij het berekenen van gradiënten.
Sommige bewerkingen, zoals het afronden op een geheel getal, het binariseren van gewichten naar +1/-1, of het kiezen van de hoogste categorie met argmax, hebben een afgeleide die vrijwel overal nul is en bij de sprongen ongedefinieerd is. Die nulgradiënt stopt met het leren van koude. De Straight-Through Estimator omzeilt dit door de voorwaartse en achterwaartse passes te ontkoppelen: voorwaarts past de echte harde operatie toe; achteruit kopieert het eenvoudigweg de binnenkomende gradiënt rechtdoor alsof de bewerking de identiteit (of een vloeiende proxy) was geweest. De schatting is vertekend, omdat de werkelijke gradiënt in werkelijkheid nul is, maar in de praktijk traint deze 'doen alsof het een soepele' benadering was opmerkelijk goed gebinariseerde en gekwantiseerde netwerken, wat de reden is dat STE een werkpaard is van efficiënt diepgaand leren.
Trainen van binaire en low-bit gekwantiseerde neurale netwerken voor efficiënte inferentie op telefoons en edge-apparaten.
Backpropagatie via de discrete codeboekzoekopdracht in VQ-VAE en neurale audio/image-tokenizers.
Kwantiseringsbewuste training waarbij gewichten of activeringen tijdens de voorwaartse pas naar een vast punt worden afgerond.
Leren van harde aandacht of discrete poorten waarbij een argmax of drempel in het rekenpad zit.
STE ondersteunt de toename van low-bit en binaire neurale netwerken die worden nagestreefd voor AI op apparaten en met beperkte energie, en staat centraal bij het trainen van vector-gekwantiseerde modellen zoals die worden gebruikt in moderne beeld- en audiotokenizers. Lopend werk streeft naar strakkere, minder vertekende gradiëntschatters en een beter theoretisch begrip van waarom zo'n ruwe benadering werkt. Naarmate de vraag naar kleine, snelle, gekwantiseerde modellen op telefoons en edge-hardware groeit, kun je verwachten dat STE-achtige trucs fundamenteel zullen blijven, ondanks hun bekende vooringenomenheid.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
De Straight-Through Estimator (STE) is een eenvoudige truc voor trainingsnetwerken die harde, niet-differentieerbare stappen bevatten, zoals afronding of drempelwaarde. Het gebruikt de discrete waarde bij de voorwaartse doorgang, maar doet alsof de bewerking de identiteit was bij het berekenen van gradiënten.
The guide describes a hard forward pass and a surrogate backward pass.
The guide says hard rounding has a zero or undefined derivative that can stop learning.
The guide explicitly notes that the approximation is biased.
The guide names quantization and rounding as common applications.
The guide gives this pattern to preserve the hard value while passing the identity gradient.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
AI gebruiken om natuurkundige problemen op te lossen
Toepassingen