Technický PRŮVODCE

Pokračování předtrénování vs jemné ladění

Pokračující předtrénování pokračuje v trénování základního modelu se stejným cílem dalšího tokenu na velkém množství surového textu z dané oblasti, zatímco jemné ladění (fine-tuning) se trénuje na menší, pečlivě vybrané sadě označených příkladů, jako jsou dvojice pokynů a odpovědí, aby se utvářelo chování.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost pokračujícího předtrénování vs. jemného ladění
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Tato volba je důležitá, protože první možnost mění především to, co model ví o dané oblasti a jejím jazyce, druhá možnost mění především to, jak reaguje, a potřebná data a výpočetní výkon se výrazně liší.

Hluboký ponor

Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.

Real-World Implementace

Kód Llama byl vytvořen pokračováním trénování Llama 2 na velkém korpusu kódu a některé jeho varianty byly následně dále trénovány pro Python a pro dodržování pokynů.

Právně-technologická společnost s miliony neoznačených smluv a podání provádí pokračující předtrénování, aby zlepšila zpracování právního jazyka modelem, a poté provádí jemné ladění na několika tisících anotovaných příkladů extrakce doložek.

Banka chce chatbota, který odpovídá v pevném formátu JSON s daným tónem; dohledované jemné ladění (supervised fine-tuning) nebo dokonce pečlivé zadávání promptů stačí, protože model obecný obsah již zná.

Modely Meditron od EPFL přizpůsobily Llama 2 medicíně prostřednictvím pokračujícího předtrénování na lékařských pracích a klinických pokynech před jakýmkoliv jemným laděním specifickým pro daný úkol.

Budoucnost pokračujícího předtrénování vs. jemného ladění

Neustálé vydávání schopných otevřených základních modelů učinilo pokračující předtrénování praktickým pro více organizací, i když stále vyžaduje podstatná data a výpočetní výkon. Mezi oblasti aktivního výzkumu patří snižování zapomínání, zlevnění adaptace domény a kombinační váhy ze samostatně trénovaných modelů. V praxi bude mnoho týmů nadále párovat lehké jemné ladění s vyhledáváním namísto úplného pokračujícího předtrénování a těžší možnost si ponechají pro domény, jejichž jazyk je obecnými webovými daty pokryt špatně.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Absolvujte kvíz Pokračující předtrénování vs. jemné ladění

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to pokračující předtrénování vs. jemné ladění?

Pokračující předtrénování pokračuje v trénování základního modelu se stejným cílem dalšího tokenu na velkém množství surového textu z dané oblasti, zatímco jemné ladění se trénuje na menší, pečlivě vybrané sadě označených příkladů, jako jsou dvojice pokynů a odpovědí, aby se utvářelo chování. Tato volba je důležitá, protože první možnost mění především to, co model ví o dané oblasti a jejím jazyce, druhá možnost mění především to, jak reaguje, a potřebná data a výpočetní výkon se výrazně liší.

Jaký je hlavní rozdíl v datech mezi pokračujícím předtrénováním a dohledovaným jemným laděním?

Pokračující předtrénování předpovídá další tokeny na surovém textu, zatímco jemné ladění se učí z dvojic promptů a odpovědí.

Kde se při dohledovaném jemném ladění obvykle vypočítává ztráta?

Maskování promptu znamená, že se model učí, co má vytvořit na základě vstupu, nikoliv reprodukovat vstup.

Co je to přehrávání (replay) při pokračujícím předtrénování?

Zahrnutí obecných dat pomáhá zabránit degradaci obecných dovedností, zatímco se model učí danou doménu.

Jak byl vytvořen kód Llama?

Kód Llama je příkladem pokračujícího předtrénování, přičemž některé varianty byly dále trénovány pro Python a instrukce.

Pro fakta, která se často mění, který přístup průvodce navrhuje jako často lepší než jemné ladění?

Jemné doladění (fine-tuning) se nové faktity učí pomalu a může zvyšovat halucinace, proto je pro měnící se informace často lepší vyhledávání (retrieval).