KI-Glossarbegriff

Was ist Parametereffiziente Feinabstimmung (PEFT)?

Definition

Methoden, die Modelle anpassen, indem sie eine kleine Teilmenge hinzugefügter Parameter trainieren.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

FeinabstimmungFortgesetztes Training zu domänenspezifischen Daten, um ein vorab trainiertes Modell an eine bestimmte Aufgabe anzupassen.LoRA (Low-Rank-Anpassung)Eine parametereffiziente Feinabstimmungsmethode, die Adaptermatrizen mit niedrigem Rang hinzufügt.Nach dem TrainingTrainingsschritte, die nach dem Vortraining angewendet werden, z. B. Anweisungsoptimierung, Präferenzoptimierung und Sicherheitsoptimierung.Anweisungs-TuningFeinabstimmung eines Modells für Anweisungs-Antwort-Paare, um die Aufgabenverfolgung zu verbessern.LernrateEin Trainingshyperparameter, der steuert, wie stark Parameter sich bei jedem Aktualisierungsschritt ändern.DPO (Direkte Präferenzoptimierung)Eine Trainingsmethode, die Modelle direkt anhand von Präferenzpaaren verfeinert, ohne dass ein separates Belohnungsmodell erforderlich ist.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Fine-TuningHard Parameter Sharing in Multi-Task NetworksGumbel-Softmax and ReparameterizationRejection Sampling Fine-Tuning

Siehe auch

ParameterPerplexityOverfittingPipelineOpen-Source ModelPrecisionOCR (Optical Character Recognition)Pretraining