Technischer Leitfaden

Fortsetzung des Vortrainings vs. Feinabstimmung

Fortlaufendes Pre‑Training bedeutet, ein Basismodell mit demselben Next‑Token‑Ziel auf großen Mengen rohen Domänentextes zu trainieren, während Fine‑Tuning auf einer kleineren, kuratierten Menge gelabelter Beispiele, wie Anleitungs‑ und Antwortpaare, erfolgt, um das Verhalten zu formen.

Hören Sie sich diesen Leitfaden anKI-erzählt · ~3 min

Auf dieser Seite4 Minuten gelesen
  1. Übersicht
  2. Tiefer Einblick
  3. Reale Umsetzung
  4. Die Zukunft von fortlaufendem Pre‑Training vs. Fine‑Tuning
  5. In die Tat umsetzen
  6. Entdecken Sie weiter
  7. Häufig gestellte Fragen

Übersicht

Die Wahl ist wichtig, weil das erste hauptsächlich das Wissen des Modells über eine Domäne und deren Sprache verschiebt, das zweite hauptsächlich sein Antwortverhalten, und Daten‑ sowie Rechenaufwand stark variieren.

Tiefer Einblick

Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.

Reale Umsetzung

Code Llama wurde erstellt, indem Llama 2 auf einem großen Code‑Korpus weiter trainiert wurde, und einige seiner Varianten wurden anschließend weiter für Python und für das Befolgen von Anweisungen trainiert.

Ein Legal‑Tech‑Unternehmen mit Millionen unlabelter Verträge und Einreichungen führt fortlaufendes Pre‑Training durch, um das Modell im Umgang mit juristischer Sprache zu verbessern, und fine‑tuned anschließend an einigen tausend annotierten Klausel‑Extraktionsbeispielen.

Eine Bank möchte einen Chatbot, der in einem festen JSON‑Format mit einem bestimmten Ton antwortet; supervised Fine‑Tuning oder sogar sorgfältiges Prompting reicht aus, weil das Modell den allgemeinen Inhalt bereits kennt.

EPFL‑s Meditron‑Modelle passten Llama 2 durch fortlaufendes Pre‑Training auf medizinische Fachartikel und klinische Leitlinien an, bevor irgendein aufgabenspezifisches Fine‑Tuning erfolgte.

Die Zukunft von fortlaufendem Pre‑Training vs. Fine‑Tuning

The steady release of capable open base models has made continued pretraining practical for more organizations, though it still requires substantial data and compute. Active research areas include reducing forgetting, making domain adaptation cheaper, and combining weights from separately trained models. In practice, many teams will keep pairing light fine-tuning with retrieval rather than full continued pretraining, reserving the heavier option for domains whose language is poorly covered by general web data.

In die Tat umsetzen

Warum es wichtig ist

  • Kosten und Budget. Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
  • Klarere Entscheidungen. Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
  • Qualitätskontrolle. Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.

Achten Sie auf

  • Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
  • Infrastruktur- und Wartungskosten werden oft unterschätzt.
  • Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.

Nächste Schritte

  1. Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
  2. Benchmark unter realistischen Last- und Datenbedingungen.
  3. Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
  4. Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.

Entdecken Sie weiter

Kostenloser Newsletter

Erhalten Sie die tägliche KI-Briefing

Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.

Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.

Testen Sie sich selbst

Take the Continued Pretraining vs Fine-Tuning quiz

Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.

Quiz starten

Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende

Häufig gestellte Fragen

What is Continued Pretraining vs Fine-Tuning?

Continued pretraining keeps training a base model with the same next-token objective on large amounts of raw domain text, while fine-tuning trains on a smaller curated set of labeled examples, such as instruction and response pairs, to shape behavior. The choice matters because the first mainly shifts what a model knows about a domain and its language, the second mainly shifts how it responds, and the data and compute needed differ greatly.

Was ist der Hauptdatenunterschied zwischen fortgesetztem Vortraining und überwachter Feinabstimmung?

Durch fortgesetztes Vortraining werden die nächsten Token anhand des Rohtexts vorhergesagt, während bei der Feinabstimmung aus Eingabeaufforderungs- und Antwortpaaren gelernt wird.

Wo wird der Verlust bei der überwachten Feinabstimmung normalerweise berechnet?

Das Maskieren der Eingabeaufforderung bedeutet, dass das Modell lernt, was es bei einer Eingabe erzeugen soll, und nicht, die Eingabe zu reproduzieren.

Was ist Wiederholung im fortgesetzten Vortraining?

Durch die Einbeziehung allgemeiner Daten wird verhindert, dass sich allgemeine Fähigkeiten verschlechtern, während das Modell die Domäne lernt.

Wie wurde der Code Llama erstellt?

Der Code Llama ist ein fortlaufendes Vortrainingsbeispiel, wobei einige Varianten für Python und Anweisungen weiter trainiert wurden.

Welcher Ansatz ist laut Leitfaden bei Fakten, die sich häufig ändern, oft besser als eine Feinabstimmung?

Die Feinabstimmung erlernt neue Fakten langsam und kann die Halluzination verstärken, daher ist das Abrufen bei sich ändernden Informationen oft besser.