VolgendeVolgende gids
Latente aandacht met meerdere hoofden
Taal AI
Technische GIDS
Aandachtsuitrol is een methode om na te gaan hoe informatie door de gestapelde aandachtslagen van een Transformer stroomt om uit te leggen welke invoertokens een voorspelling beïnvloeden.
Luister naar deze gidsAI-verteld · ~2 min
Hoofdsnoeien verwijdert aandachtskoppen die kleine modellen leveren zonder de nauwkeurigheid te schaden. Samen helpen ze ons transformers te interpreteren en samen te comprimeren.
Transformers verspreiden hun redenering over vele aandachtshoofden in vele lagen, zodat de aandachtskaart van een enkele laag zelden het hele verhaal vertelt. Aandachtsuitrol, geïntroduceerd door Abnar en Zuidema in 2020, lost dit op door de aandachtsmatrices laag voor laag te vermenigvuldigen (na rekening te hebben gehouden met resterende verbindingen) om te schatten hoeveel elk invoertoken uiteindelijk bijdraagt aan een bepaald uitvoertoken. Los daarvan blijkt uit onderzoek als Michel en collega's 'Zijn zestien hoofden echt beter dan één?' toonde aan dat veel koppen overbodig zijn: een groot deel kan tijdens de inferentietijd worden gesnoeid met een verwaarloosbaar nauwkeurigheidsverlies. Bij hoofdsnoei worden de hoofden gerangschikt op belangrijkheid, vaak met behulp van op gradiënten gebaseerde gevoeligheidsscores, en worden vervolgens de minst bruikbare gemaskeerd. De twee technieken zijn complementair: uitrol laat zien welke delen van het netwerk van belang zijn voor interpretatie, en snoeien werkt op redundantie om modellen kleiner en sneller te maken.
Visualiseren op welke woorden in een zin een Transformer-classificator zich baseerde, door aandacht uit te rollen om invloedrijke tokens te markeren
Het comprimeren van een BERT-model voor mobiele implementatie door overtollige aandachtskoppen te snoeien om de latentie te verminderen
Een model controleren op vertekening door de aandachtsstroom van een voorspelling terug te leiden naar gevoelige invoertokens
Het versnellen van gevolgtrekkingen in productievertaalsystemen door het verwijderen van hoofden van laag belang die zijn geïdentificeerd via gevoeligheidsscores
Naarmate de modellen groeien, winnen zowel efficiënte gevolgtrekkingen als betrouwbare verklaringen aan urgentie. Verwacht dat head-pruning zal samengaan met gestructureerd snoeien, kwantisering en destillatie in implementatiepijplijnen voor edge- en kostengevoelige bediening. De interpreteerbaarheid gaat verder dan de uitrol naar aandachtsstroom, gradiëntgewogen methoden en mechanistische circuitanalyse die de functies van individuele hoofden onderzoekt. De druk van de toezichthouders op verklaarbare AI zal onderzoek blijven stimuleren dat een verband legt tussen welke hoofden ertoe doen en wat ze daadwerkelijk berekenen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Aandachtsuitrol is een methode om na te gaan hoe informatie door de gestapelde aandachtslagen van een Transformer stroomt om uit te leggen welke invoertokens een voorspelling beïnvloeden. Door het snoeien van hoofden worden de aandachtskoppen verwijderd die weinig bijdragen, waardoor de modellen kleiner worden zonder dat dit ten koste gaat van de nauwkeurigheid. Samen helpen ze ons Transformers te interpreteren en te comprimeren.
Uitrol vermenigvuldigt de aandacht in lagen (met residuen) om te benaderen hoe elk invoertoken een uitvoer beïnvloedt.
Omdat de redenering is verdeeld over gestapelde lagen en hoofden, kan de kaart van één laag niet de volledige informatiestroom weergeven.
Door een identiteitscomponent toe te voegen, wordt de resterende skip-verbinding gemodelleerd, waardoor tokens hun eigen informatie kunnen behouden.
Studies als 'Zijn zestien hoofden echt beter dan één?' toonde aan dat een groot deel van de hoofden overbodig is bij gevolgtrekking.
Het belang wordt vaak beoordeeld aan de hand van de gradiënt van het verlies met betrekking tot een maskervariabele op elk hoofd.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Latente aandacht met meerdere hoofden
Taal AI