Technische GIDS

Voortdurende voortraining versus fijnafstelling

Bij voortdurende voortraining wordt een basismodel met hetzelfde next-token-doel getraind op grote hoeveelheden onbewerkte domeintekst, terwijl er wordt getraind op een kleinere samengestelde set gelabelde voorbeelden, zoals instructie- en antwoordparen, om gedrag vorm te geven.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van voortdurende voortraining versus fine-tuning
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

De keuze is van belang omdat de eerste vooral verandert wat een model weet over een domein en de taal ervan, de tweede vooral verandert hoe het reageert, en de benodigde gegevens en berekeningen sterk verschillen.

Diepe duik

Voortgezette voortraining, ook wel domeinadaptieve voortraining genoemd, gaat verder waar de oorspronkelijke voortraining stopte. Het model ziet ruwe tekst uit het doeldomein, zoals medische papieren, broncode of juridische dossiers, en leert elke volgende token te voorspellen, precies zoals bij de voortraining. Gururangan en collega's lieten in de paper Don't Stop Pretraining uit 2020 zien dat een tweede fase van pretraining op tekst binnen het domein RoBERTa verbeterde op het gebied van taken in de biomedische, informatica-, nieuws- en recensiedomeinen. Er zijn meestal grote hoeveelheden tekst voor nodig, vaak miljarden tokens, en volledige parametertraining, dus het kost veel meer dan alleen maar fijnafstemming. Bij fijnafstemming, meestal onder toezicht, wordt gebruik gemaakt van prompt- en responsparen. Verlies wordt doorgaans alleen berekend op basis van de responstokens, zodat het model leert wat het moet produceren op basis van invoer. Datasets variëren van een paar duizend tot honderdduizenden voorbeelden, en parameter-efficiënte methoden zoals LoRA maken het betaalbaar op bescheiden hardware. Het is goed in lesvorm, stijl, taakgedrag en het volgen van instructies. Vaak volgen voorkeursmethoden zoals RLHF of DPO. Een gemeenschappelijke pijplijn is het basismodel, vervolgens voortgezette voortraining, vervolgens verfijnde afstemming onder toezicht en vervolgens voorkeurafstemming. Voortdurende voortraining brengt een bekend risico met zich mee: catastrofaal vergeten, waarbij algemene vaardigheden afnemen. Toegepast op een chatmodel kan het ook het volgen van instructies uithollen, waardoor teams vaak vertrekken van een basismodel en de afstemming van de instructies daarna opnieuw uitvoeren. Er vallen twee misvattingen op. Ten eerste is verfijning geen betrouwbare manier om veel nieuwe feiten toe te voegen; uit onderzoek zoals Gekhman en collega's (2024) is gebleken dat modellen langzaam nieuwe feiten leren door middel van verfijning, en dat dit de hallucinatie kan vergroten. Voor snel veranderende feiten is het terugvinden vaak het betere hulpmiddel. Ten tweede wordt BloombergGPT soms genoemd als een voortgezette vooropleiding, maar deze werd helemaal opnieuw getraind op basis van een mix van financiële en algemene gegevens. Een grove regel: gebruik voortdurende voortraining als de domeintaal veel verschilt van webtekst en er veel ongelabelde gegevens zijn; gebruik fijnafstemming wanneer u een gedrag of indeling nodig heeft.

Implementatie in de echte wereld

Code Llama werd gebouwd door Llama 2 te blijven trainen op een groot codecorpus, en sommige varianten ervan werden vervolgens verder getraind voor Python en voor het volgen van instructies.

Een juridisch technologiebedrijf met miljoenen niet-gelabelde contracten en dossiers voert voortdurende voortrainingen uit om de omgang van het model met juridisch taalgebruik te verbeteren, en verfijnt vervolgens een paar duizend geannoteerde voorbeelden van clausule-extractie.

Een bank wil een chatbot die antwoordt in een vast JSON-formaat met een vaste toon; begeleide verfijning, of zelfs zorgvuldige aansporing, is voldoende omdat het model de algemene inhoud al kent.

De Meditron-modellen van EPFL hebben de Llama 2 aangepast aan de geneeskunde door middel van voortdurende vooropleiding op het gebied van medische documenten en klinische richtlijnen voordat er enige taakspecifieke verfijning plaatsvond.

De toekomst van voortdurende voortraining versus fine-tuning

De gestage introductie van capabele open-base-modellen heeft voortdurende voortraining voor meer organisaties praktisch gemaakt, hoewel dit nog steeds aanzienlijke gegevens en rekenkracht vereist. Actieve onderzoeksgebieden zijn onder meer het terugdringen van vergeten, het goedkoper maken van domeinaanpassing en het combineren van gewichten uit afzonderlijk getrainde modellen. In de praktijk zullen veel teams lichte verfijning blijven combineren met ophalen in plaats van volledige voortgezette voortraining, waarbij ze de zwaardere optie reserveren voor domeinen waarvan de taal slecht wordt gedekt door algemene webgegevens.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Continued Pretraining vs Fine-Tuning quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is voortgezette voortraining versus fine-tuning?

Bij voortdurende voortraining wordt een basismodel met hetzelfde next-token-doel getraind op grote hoeveelheden onbewerkte domeintekst, terwijl er wordt getraind op een kleinere samengestelde set gelabelde voorbeelden, zoals instructie- en antwoordparen, om gedrag vorm te geven. De keuze is van belang omdat de eerste vooral verandert wat een model weet over een domein en de taal ervan, de tweede vooral verandert hoe het reageert, en de benodigde gegevens en berekeningen sterk verschillen.

Wat is het belangrijkste verschil in gegevens tussen voortgezette vooropleiding en verfijnde afstemming onder toezicht?

Voortdurende voortraining voorspelt de volgende tokens op onbewerkte tekst, terwijl de verfijning leert van prompt- en antwoordparen.

Waar wordt bij fijnafstelling onder toezicht gewoonlijk het verlies berekend?

Het maskeren van de prompt betekent dat het model leert wat het moet produceren bij gegeven invoer, en niet om de invoer te reproduceren.

Wat is herhaling bij voortgezette voortraining?

Het opnemen van algemene gegevens zorgt ervoor dat algemene vaardigheden niet afnemen terwijl het model het domein leert.

Hoe is code Llama gebouwd?

Code Llama is een voorbeeld van een voortgezette voortraining, waarbij enkele varianten verder zijn getraind voor Python en instructies.

Welke aanpak suggereert de gids voor feiten die vaak veranderen, dat deze vaak beter is dan verfijning?

Door te verfijnen leer je langzaam nieuwe feiten en kan de hallucinatie toenemen, dus het terughalen is vaak beter voor het veranderen van informatie.