Műszaki ÚTMUTATÓ

Folytatólagos előképzés vs finomhangolás

A folytatott előképzés során a bázismodell ugyanazzal a következő token célkitűzéssel tovább tanul nagy mennyiségű nyers domain szövegre, míg a finomhangolás kisebb, kiemelt címkézett példákon, például utasítás- és válaszpárokon tanítja a viselkedést.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A folytatott előképzés vs finomhangolás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A választás fontos, mert az első főként azt változtatja, hogy a modell mit tud egy domainről és nyelvéről, a második főként azt, hogyan reagál, és az adat- és számításigények jelentősen különböznek.

Mély merülés

Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.

Valós megvalósítás

A Llama kódot úgy építették, hogy a Llama 2-t tovább tanították egy nagy kórcorpuszon, és néhány változatát aztán tovább tanították a Python-re és a következő utasításokra.

Egy jogi tech cég, amely millióknyi címkézetlen szerződéssel és benyújtással rendelkezik, folytatott előképzést végez a modell jogi nyelvkezelésének javítása érdekében, majd néhány ezer annotált záradék-kinyerési példán finomhangolja.

Egy bank egy olyan chatbotot szeretne, amely egy fix JSON formátumban válaszol, meghatározott hangnemben; a felügyelt finomhangolás vagy akár gondos promptálás is elegendő, mert a modell már ismeri a általános tartalmat.

Az EPFL Meditron modelljei a Llama 2-t a folytatott előképzésen keresztül alkalmazták az orvostudományra, orvosi cikkeken és klinikai irányelveken, mielőtt bármilyen feladat-specifikus finomhangolást végeztek volna.

A folytatott előképzés vs finomhangolás jövője

A képzett, nyílt bázismodellok folyamatos kiadása lehetővé tette a folytatott előképzés gyakorlati alkalmazását több szervezet számára, bár még mindig jelentős adat- és számításigényt igényel. Aktív kutatási területek közé tartozik a felejtés csökkentése, a domain adaptáció olcsóbbá tétele, és a külön-külön tanított modellek súlyainak kombinálása. Gyakorlatban sok csapat a könnyű finomhangolást és a lekérdezést fogja párosítani a teljes folytatott előképzés helyett, a nehezebb opciót a nyelvét rosszul lefedő domain-ekre tartva.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Vegye fel a Folytatott előképzés vs finomhangolás tesztjét

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi a Folytatott előképzés vs finomhangolás?

A folytatott előképzés során a bázismodell ugyanazzal a következő token célkitűzéssel tovább tanul nagy mennyiségű nyers domain szövegre, míg a finomhangolás kisebb, kiemelt címkézett példákon, például utasítás- és válaszpárokon tanítja a viselkedést. A választás fontos, mert az első főként azt változtatja, hogy a modell mit tud egy domainről és nyelvéről, a második főként azt, hogyan reagál, és az adat- és számításigények jelentősen különböznek.

Mi a fő adatbeli különbség a folytatott előképzés és a felügyelt finomhangolás között?

A folytatott előképzés a nyers szövegen következő tokeneket jósolja, míg a finomhangolás a prompt és válaszpárokból tanul.

Hol számítják általában a veszteséget a felügyelt finomhangolás során?

A prompt maskolása azt jelenti, hogy a modell megtanulja, mit kell előállítania egy bemenetre, nem pedig, hogy reprodukálja a bemenetet.

Mi a replay a folytatott előképzésben?

Az általános adatok bevonása segít megőrizni az általános készségeket, miközben a modell a domain-t tanulja.

Hogyan épült a Code Llama?

A Code Llama egy folytatott előképzés példája, néhány változata pedig tovább tanult a Python-re és az utasításokra.

Az olyan tényekhez, amelyek gyakran változnak, melyik megközelítést javasolja a kézikönyv gyakran jobb, mint a finomhangolás?

A finomhangolás lassan tanul meg új tényeket, és növelheti a hallucinációk számát, ezért a változó információk esetében gyakran jobb a lekérés (retrieval).