Als nächstesNächster Leitfaden
Feinabstimmung vs. RAG vs. Eingabeaufforderung
Sprach-KI
Technischer Leitfaden
Fortlaufendes Pre‑Training bedeutet, ein Basismodell mit demselben Next‑Token‑Ziel auf großen Mengen rohen Domänentextes zu trainieren, während Fine‑Tuning auf einer kleineren, kuratierten Menge gelabelter Beispiele, wie Anleitungs‑ und Antwortpaare, erfolgt, um das Verhalten zu formen.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~3 min
Die Wahl ist wichtig, weil das erste hauptsächlich das Wissen des Modells über eine Domäne und deren Sprache verschiebt, das zweite hauptsächlich sein Antwortverhalten, und Daten‑ sowie Rechenaufwand stark variieren.
Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.
Code Llama wurde erstellt, indem Llama 2 auf einem großen Code‑Korpus weiter trainiert wurde, und einige seiner Varianten wurden anschließend weiter für Python und für das Befolgen von Anweisungen trainiert.
Ein Legal‑Tech‑Unternehmen mit Millionen unlabelter Verträge und Einreichungen führt fortlaufendes Pre‑Training durch, um das Modell im Umgang mit juristischer Sprache zu verbessern, und fine‑tuned anschließend an einigen tausend annotierten Klausel‑Extraktionsbeispielen.
Eine Bank möchte einen Chatbot, der in einem festen JSON‑Format mit einem bestimmten Ton antwortet; supervised Fine‑Tuning oder sogar sorgfältiges Prompting reicht aus, weil das Modell den allgemeinen Inhalt bereits kennt.
EPFL‑s Meditron‑Modelle passten Llama 2 durch fortlaufendes Pre‑Training auf medizinische Fachartikel und klinische Leitlinien an, bevor irgendein aufgabenspezifisches Fine‑Tuning erfolgte.
The steady release of capable open base models has made continued pretraining practical for more organizations, though it still requires substantial data and compute. Active research areas include reducing forgetting, making domain adaptation cheaper, and combining weights from separately trained models. In practice, many teams will keep pairing light fine-tuning with retrieval rather than full continued pretraining, reserving the heavier option for domains whose language is poorly covered by general web data.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Continued pretraining keeps training a base model with the same next-token objective on large amounts of raw domain text, while fine-tuning trains on a smaller curated set of labeled examples, such as instruction and response pairs, to shape behavior. The choice matters because the first mainly shifts what a model knows about a domain and its language, the second mainly shifts how it responds, and the data and compute needed differ greatly.
Durch fortgesetztes Vortraining werden die nächsten Token anhand des Rohtexts vorhergesagt, während bei der Feinabstimmung aus Eingabeaufforderungs- und Antwortpaaren gelernt wird.
Das Maskieren der Eingabeaufforderung bedeutet, dass das Modell lernt, was es bei einer Eingabe erzeugen soll, und nicht, die Eingabe zu reproduzieren.
Durch die Einbeziehung allgemeiner Daten wird verhindert, dass sich allgemeine Fähigkeiten verschlechtern, während das Modell die Domäne lernt.
Der Code Llama ist ein fortlaufendes Vortrainingsbeispiel, wobei einige Varianten für Python und Anweisungen weiter trainiert wurden.
Die Feinabstimmung erlernt neue Fakten langsam und kann die Halluzination verstärken, daher ist das Abrufen bei sich ändernden Informationen oft besser.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Feinabstimmung vs. RAG vs. Eingabeaufforderung
Sprach-KI