VolgendeVolgende gids
Het delen van harde parameters in multitasknetwerken
Technisch
Technische GIDS
Multi-task learning traint één model om meerdere gerelateerde taken tegelijk uit te voeren, waarbij interne representaties worden gedeeld.
Luister naar deze gidsAI-verteld · ~2 min
Door een gedeelde structuur te leren, helpt elke taak de anderen, waardoor de nauwkeurigheid en gegevensefficiëntie vaak worden verbeterd ten opzichte van het trainen van afzonderlijke modellen.
In plaats van een apart model per taak te bouwen, maakt multi-task learning (MTL) gebruik van een gedeelde ruggengraat die zich vertakt in taakspecifieke hoofden. Een zelfrijdend perceptienetwerk kan bijvoorbeeld een vision-encoder delen en vervolgens opsplitsen in hoofden voor het detecteren van auto's, het segmenteren van de weg en het schatten van de diepte. De gedeelde lagen leren algemene kenmerken die nuttig zijn voor verschillende taken, terwijl elk hoofd zich specialiseert. Dit werkt als een vorm van inductieve vertekening en regularisatie: signalen van één taak beperken de gedeelde representatie, verminderen overfitting en verbeteren de generalisatie, vooral wanneer sommige taken weinig gegevens bevatten. De belangrijkste uitdaging is het balanceren van de taken. Als hun verliesschalen of gradiënten conflicteren, kan één taak domineren en andere lijden, een probleem dat negatieve overdracht wordt genoemd. Technieken zoals verliesweging, op onzekerheid gebaseerde weging en gradiëntchirurgie zijn erop gericht taken samen te laten werken in plaats van te concurreren.
Zelfrijdende perceptiestapels die één vision-encoder delen voor objectdetectie, rijstrooksegmentatie en diepteschatting.
Grote taalmodellen die vertalingen, samenvattingen, sentimenten en vraagbeantwoording verwerken met één gedeeld netwerk.
Aanbevelingssystemen die gezamenlijk klikken, kijktijd en aankopen voorspellen om de betrokkenheid van gebruikers te optimaliseren.
Medische beeldvormingsmodellen die tegelijkertijd een tumor detecteren, de grens ervan segmenteren en het type ervan classificeren op basis van dezelfde scan.
Multi-task leren ondersteunt de trend naar generalistische modellen. Grote taalmodellen zijn inherent multi-task – één netwerk verzorgt de vertaling, samenvatting, codering en vragen en antwoorden – en multimodale systemen breiden dit uit naar tekst, afbeeldingen en audio. Verwacht een groeiend gebruik van uniforme architecturen en instructie-afstemming die veel taken in één enkel model samenbrengen, plus een betere automatische taakverdeling en routering (zoals bij een mix van experts), zodat het toevoegen van taken niet langer betekent dat er afzonderlijke modellen moeten worden toegevoegd.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Multi-task learning traint één model om meerdere gerelateerde taken tegelijk uit te voeren, waarbij interne representaties worden gedeeld. Door een gedeelde structuur te leren, helpt elke taak de anderen, waardoor de nauwkeurigheid en gegevensefficiëntie vaak worden verbeterd ten opzichte van het trainen van afzonderlijke modellen.
MTL traint één enkel model voor meerdere taken, zodat gedeelde lagen de structuur vastleggen die voor alle taken bruikbaar is.
Het delen van harde parameters maakt gebruik van een gemeenschappelijke trunk voor algemene functies en afzonderlijke heads die gespecialiseerd zijn in elke taak.
Het leren van verschillende taken beperkt gedeelde functies en fungeert als regularisatie die vaak vooral taken met weinig gegevens helpt.
Tegenstrijdige gradiënten of dominante verliezen kunnen ervoor zorgen dat de ene taak de andere verslechtert, het tegenovergestelde van nuttige overdracht.
Het doel is doorgaans Σ wᵢ Lᵢ, en het kiezen van de gewichten is van cruciaal belang omdat taken qua omvang en moeilijkheidsgraad verschillen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Het delen van harde parameters in multitasknetwerken
Technisch