Mit dem Guide verknüpftes Quiz · Mittel Ebene
Fortsetzung des Quiz „Vortraining vs. Feinabstimmung“.
Testet die Daten und objektiven Unterschiede zwischen fortgesetztem Vortraining und Feinabstimmung, katastrophalem Vergessen und Wiederholen und wann der Abruf besser passt.
Frage 1 von 8
Was ist der Hauptdatenunterschied zwischen fortgesetztem Vortraining und überwachter Feinabstimmung?
Sehen Sie sich jede Frage in der Vorschau an8 Fragen
Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.
- Was ist der Hauptdatenunterschied zwischen fortgesetztem Vortraining und überwachter Feinabstimmung?
- Beide verwenden nur gekennzeichnete Frage-Antwort-Paare
- Bei der weiteren Vorschulung wird roher Domänentext verwendet; Für die Feinabstimmung werden kuratierte, beschriftete Beispiele verwendet
- Bei der Feinabstimmung werden mehr Daten verwendet als beim weiteren Vortraining
- Bei der weiteren Vorschulung werden nur Bilder verwendet
- Wo wird der Verlust bei der überwachten Feinabstimmung normalerweise berechnet?
- Auf jedem Token einschließlich der Eingabeaufforderung
- Nur auf den Prompt-Tokens
- Auf zufällig ausgewählten Token
- Nur auf den Antworttoken
- Was ist Wiederholung im fortgesetzten Vortraining?
- Mischen Sie einige allgemeine Daten in das Training, um das Vergessen einzuschränken
- Dieselbe Charge zweimal ausführen
- Das Training von Grund auf neu starten
- Wiedergabe von Benutzergesprächen zum Zeitpunkt der Inferenz
- Wie wurde der Code Llama erstellt?
- Nur Code von Grund auf neu
- Durch promptes Engineering Llama 2
- Indem Sie Llama 2 weiterhin auf einem großen Codekorpus trainieren
- Durch die Feinabstimmung einiger hundert Codierungsfragen
- Welcher Ansatz ist laut Leitfaden bei Fakten, die sich häufig ändern, oft besser als eine Feinabstimmung?
- Tägliches Vortraining fortgesetzt
- Abruf aktueller Dokumente
- Erhöhung der Probentemperatur
- Einen größeren Tokenizer trainieren
- Welche Aussage zu BloombergGPT ist laut Leitfaden richtig?
- Es wurde das Vortraining von Llama 2 fortgesetzt
- Es wurde nur mit LoRA erstellt
- Es war ein prompt konstruierter GPT-3
- Es wurde von Grund auf auf Finanz- und allgemeine Daten geschult
- Was zeigte die 2020 erschienene Zeitung „Don't Stop Pretraining“?
- Eine zweite Phase des Vortrainings für domäneninternen Text verbesserte RoBERTa für Domänenaufgaben
- Das Vortraining sollte immer nach einer Epoche beendet werden
- Eine Feinabstimmung ist für die Klassifizierung nutzlos
- Domaintext schadet jedem Modell
- Warum die Lernrate zu Beginn des weiteren Vortrainings wieder erhöhen?
- Um den Tokenizer zurückzusetzen
- Zum Einfrieren der Grundgewichte
- Das Fortsetzen mit einer hohen Rate destabilisiert das Training, während eine zu niedrige Rate wenig lernt
- Um die Notwendigkeit von Domänendaten zu überspringen