VolgendeVolgende gids
Fine-tuning versus RAG versus prompting
Taal AI
Technische GIDS
Bij voortdurende voortraining wordt een basismodel met hetzelfde next-token-doel getraind op grote hoeveelheden onbewerkte domeintekst, terwijl er wordt getraind op een kleinere samengestelde set gelabelde voorbeelden, zoals instructie- en antwoordparen, om gedrag vorm te geven.
Luister naar deze gidsAI-verteld · ~3 min
De keuze is van belang omdat de eerste vooral verandert wat een model weet over een domein en de taal ervan, de tweede vooral verandert hoe het reageert, en de benodigde gegevens en berekeningen sterk verschillen.
Voortgezette voortraining, ook wel domeinadaptieve voortraining genoemd, gaat verder waar de oorspronkelijke voortraining stopte. Het model ziet ruwe tekst uit het doeldomein, zoals medische papieren, broncode of juridische dossiers, en leert elke volgende token te voorspellen, precies zoals bij de voortraining. Gururangan en collega's lieten in de paper Don't Stop Pretraining uit 2020 zien dat een tweede fase van pretraining op tekst binnen het domein RoBERTa verbeterde op het gebied van taken in de biomedische, informatica-, nieuws- en recensiedomeinen. Er zijn meestal grote hoeveelheden tekst voor nodig, vaak miljarden tokens, en volledige parametertraining, dus het kost veel meer dan alleen maar fijnafstemming. Bij fijnafstemming, meestal onder toezicht, wordt gebruik gemaakt van prompt- en responsparen. Verlies wordt doorgaans alleen berekend op basis van de responstokens, zodat het model leert wat het moet produceren op basis van invoer. Datasets variëren van een paar duizend tot honderdduizenden voorbeelden, en parameter-efficiënte methoden zoals LoRA maken het betaalbaar op bescheiden hardware. Het is goed in lesvorm, stijl, taakgedrag en het volgen van instructies. Vaak volgen voorkeursmethoden zoals RLHF of DPO. Een gemeenschappelijke pijplijn is het basismodel, vervolgens voortgezette voortraining, vervolgens verfijnde afstemming onder toezicht en vervolgens voorkeurafstemming. Voortdurende voortraining brengt een bekend risico met zich mee: catastrofaal vergeten, waarbij algemene vaardigheden afnemen. Toegepast op een chatmodel kan het ook het volgen van instructies uithollen, waardoor teams vaak vertrekken van een basismodel en de afstemming van de instructies daarna opnieuw uitvoeren. Er vallen twee misvattingen op. Ten eerste is verfijning geen betrouwbare manier om veel nieuwe feiten toe te voegen; uit onderzoek zoals Gekhman en collega's (2024) is gebleken dat modellen langzaam nieuwe feiten leren door middel van verfijning, en dat dit de hallucinatie kan vergroten. Voor snel veranderende feiten is het terugvinden vaak het betere hulpmiddel. Ten tweede wordt BloombergGPT soms genoemd als een voortgezette vooropleiding, maar deze werd helemaal opnieuw getraind op basis van een mix van financiële en algemene gegevens. Een grove regel: gebruik voortdurende voortraining als de domeintaal veel verschilt van webtekst en er veel ongelabelde gegevens zijn; gebruik fijnafstemming wanneer u een gedrag of indeling nodig heeft.
Code Llama werd gebouwd door Llama 2 te blijven trainen op een groot codecorpus, en sommige varianten ervan werden vervolgens verder getraind voor Python en voor het volgen van instructies.
Een juridisch technologiebedrijf met miljoenen niet-gelabelde contracten en dossiers voert voortdurende voortrainingen uit om de omgang van het model met juridisch taalgebruik te verbeteren, en verfijnt vervolgens een paar duizend geannoteerde voorbeelden van clausule-extractie.
Een bank wil een chatbot die antwoordt in een vast JSON-formaat met een vaste toon; begeleide verfijning, of zelfs zorgvuldige aansporing, is voldoende omdat het model de algemene inhoud al kent.
De Meditron-modellen van EPFL hebben de Llama 2 aangepast aan de geneeskunde door middel van voortdurende vooropleiding op het gebied van medische documenten en klinische richtlijnen voordat er enige taakspecifieke verfijning plaatsvond.
De gestage introductie van capabele open-base-modellen heeft voortdurende voortraining voor meer organisaties praktisch gemaakt, hoewel dit nog steeds aanzienlijke gegevens en rekenkracht vereist. Actieve onderzoeksgebieden zijn onder meer het terugdringen van vergeten, het goedkoper maken van domeinaanpassing en het combineren van gewichten uit afzonderlijk getrainde modellen. In de praktijk zullen veel teams lichte verfijning blijven combineren met ophalen in plaats van volledige voortgezette voortraining, waarbij ze de zwaardere optie reserveren voor domeinen waarvan de taal slecht wordt gedekt door algemene webgegevens.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Bij voortdurende voortraining wordt een basismodel met hetzelfde next-token-doel getraind op grote hoeveelheden onbewerkte domeintekst, terwijl er wordt getraind op een kleinere samengestelde set gelabelde voorbeelden, zoals instructie- en antwoordparen, om gedrag vorm te geven. De keuze is van belang omdat de eerste vooral verandert wat een model weet over een domein en de taal ervan, de tweede vooral verandert hoe het reageert, en de benodigde gegevens en berekeningen sterk verschillen.
Voortdurende voortraining voorspelt de volgende tokens op onbewerkte tekst, terwijl de verfijning leert van prompt- en antwoordparen.
Het maskeren van de prompt betekent dat het model leert wat het moet produceren bij gegeven invoer, en niet om de invoer te reproduceren.
Het opnemen van algemene gegevens zorgt ervoor dat algemene vaardigheden niet afnemen terwijl het model het domein leert.
Code Llama is een voorbeeld van een voortgezette voortraining, waarbij enkele varianten verder zijn getraind voor Python en instructies.
Door te verfijnen leer je langzaam nieuwe feiten en kan de hallucinatie toenemen, dus het terughalen is vaak beter voor het veranderen van informatie.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Fine-tuning versus RAG versus prompting
Taal AI