DalšíDalší průvodce
Jemné ladění vs RAG vs Prompting
Jazyk AI
Technický PRŮVODCE
Pokračující předtrénování pokračuje v trénování základního modelu se stejným cílem dalšího tokenu na velkém množství surového textu z dané oblasti, zatímco jemné ladění (fine-tuning) se trénuje na menší, pečlivě vybrané sadě označených příkladů, jako jsou dvojice pokynů a odpovědí, aby se utvářelo chování.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Tato volba je důležitá, protože první možnost mění především to, co model ví o dané oblasti a jejím jazyce, druhá možnost mění především to, jak reaguje, a potřebná data a výpočetní výkon se výrazně liší.
Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.
Kód Llama byl vytvořen pokračováním trénování Llama 2 na velkém korpusu kódu a některé jeho varianty byly následně dále trénovány pro Python a pro dodržování pokynů.
Právně-technologická společnost s miliony neoznačených smluv a podání provádí pokračující předtrénování, aby zlepšila zpracování právního jazyka modelem, a poté provádí jemné ladění na několika tisících anotovaných příkladů extrakce doložek.
Banka chce chatbota, který odpovídá v pevném formátu JSON s daným tónem; dohledované jemné ladění (supervised fine-tuning) nebo dokonce pečlivé zadávání promptů stačí, protože model obecný obsah již zná.
Modely Meditron od EPFL přizpůsobily Llama 2 medicíně prostřednictvím pokračujícího předtrénování na lékařských pracích a klinických pokynech před jakýmkoliv jemným laděním specifickým pro daný úkol.
Neustálé vydávání schopných otevřených základních modelů učinilo pokračující předtrénování praktickým pro více organizací, i když stále vyžaduje podstatná data a výpočetní výkon. Mezi oblasti aktivního výzkumu patří snižování zapomínání, zlevnění adaptace domény a kombinační váhy ze samostatně trénovaných modelů. V praxi bude mnoho týmů nadále párovat lehké jemné ladění s vyhledáváním namísto úplného pokračujícího předtrénování a těžší možnost si ponechají pro domény, jejichž jazyk je obecnými webovými daty pokryt špatně.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Pokračující předtrénování pokračuje v trénování základního modelu se stejným cílem dalšího tokenu na velkém množství surového textu z dané oblasti, zatímco jemné ladění se trénuje na menší, pečlivě vybrané sadě označených příkladů, jako jsou dvojice pokynů a odpovědí, aby se utvářelo chování. Tato volba je důležitá, protože první možnost mění především to, co model ví o dané oblasti a jejím jazyce, druhá možnost mění především to, jak reaguje, a potřebná data a výpočetní výkon se výrazně liší.
Pokračující předtrénování předpovídá další tokeny na surovém textu, zatímco jemné ladění se učí z dvojic promptů a odpovědí.
Maskování promptu znamená, že se model učí, co má vytvořit na základě vstupu, nikoliv reprodukovat vstup.
Zahrnutí obecných dat pomáhá zabránit degradaci obecných dovedností, zatímco se model učí danou doménu.
Kód Llama je příkladem pokračujícího předtrénování, přičemž některé varianty byly dále trénovány pro Python a instrukce.
Jemné doladění (fine-tuning) se nové faktity učí pomalu a může zvyšovat halucinace, proto je pro měnící se informace často lepší vyhledávání (retrieval).
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jemné ladění vs RAG vs Prompting
Jazyk AI