LegközelebbKövetkező útmutató
Finomhangolás vs RAG vs Prompting
Nyelvi AI
Műszaki ÚTMUTATÓ
A folytatott előképzés során a bázismodell ugyanazzal a következő token célkitűzéssel tovább tanul nagy mennyiségű nyers domain szövegre, míg a finomhangolás kisebb, kiemelt címkézett példákon, például utasítás- és válaszpárokon tanítja a viselkedést.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A választás fontos, mert az első főként azt változtatja, hogy a modell mit tud egy domainről és nyelvéről, a második főként azt, hogyan reagál, és az adat- és számításigények jelentősen különböznek.
Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.
A Llama kódot úgy építették, hogy a Llama 2-t tovább tanították egy nagy kórcorpuszon, és néhány változatát aztán tovább tanították a Python-re és a következő utasításokra.
Egy jogi tech cég, amely millióknyi címkézetlen szerződéssel és benyújtással rendelkezik, folytatott előképzést végez a modell jogi nyelvkezelésének javítása érdekében, majd néhány ezer annotált záradék-kinyerési példán finomhangolja.
Egy bank egy olyan chatbotot szeretne, amely egy fix JSON formátumban válaszol, meghatározott hangnemben; a felügyelt finomhangolás vagy akár gondos promptálás is elegendő, mert a modell már ismeri a általános tartalmat.
Az EPFL Meditron modelljei a Llama 2-t a folytatott előképzésen keresztül alkalmazták az orvostudományra, orvosi cikkeken és klinikai irányelveken, mielőtt bármilyen feladat-specifikus finomhangolást végeztek volna.
A képzett, nyílt bázismodellok folyamatos kiadása lehetővé tette a folytatott előképzés gyakorlati alkalmazását több szervezet számára, bár még mindig jelentős adat- és számításigényt igényel. Aktív kutatási területek közé tartozik a felejtés csökkentése, a domain adaptáció olcsóbbá tétele, és a külön-külön tanított modellek súlyainak kombinálása. Gyakorlatban sok csapat a könnyű finomhangolást és a lekérdezést fogja párosítani a teljes folytatott előképzés helyett, a nehezebb opciót a nyelvét rosszul lefedő domain-ekre tartva.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A folytatott előképzés során a bázismodell ugyanazzal a következő token célkitűzéssel tovább tanul nagy mennyiségű nyers domain szövegre, míg a finomhangolás kisebb, kiemelt címkézett példákon, például utasítás- és válaszpárokon tanítja a viselkedést. A választás fontos, mert az első főként azt változtatja, hogy a modell mit tud egy domainről és nyelvéről, a második főként azt, hogyan reagál, és az adat- és számításigények jelentősen különböznek.
A folytatott előképzés a nyers szövegen következő tokeneket jósolja, míg a finomhangolás a prompt és válaszpárokból tanul.
A prompt maskolása azt jelenti, hogy a modell megtanulja, mit kell előállítania egy bemenetre, nem pedig, hogy reprodukálja a bemenetet.
Az általános adatok bevonása segít megőrizni az általános készségeket, miközben a modell a domain-t tanulja.
A Code Llama egy folytatott előképzés példája, néhány változata pedig tovább tanult a Python-re és az utasításokra.
A finomhangolás lassan tanul meg új tényeket, és növelheti a hallucinációk számát, ezért a változó információk esetében gyakran jobb a lekérés (retrieval).
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Finomhangolás vs RAG vs Prompting
Nyelvi AI