Mit dem Guide verknüpftes Quiz · Mittel Ebene

Fortsetzung des Quiz „Vortraining vs. Feinabstimmung“.

Testet die Daten und objektiven Unterschiede zwischen fortgesetztem Vortraining und Feinabstimmung, katastrophalem Vergessen und Wiederholen und wann der Abruf besser passt.

Frage 1 von 8

Was ist der Hauptdatenunterschied zwischen fortgesetztem Vortraining und überwachter Feinabstimmung?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist der Hauptdatenunterschied zwischen fortgesetztem Vortraining und überwachter Feinabstimmung?
    • Beide verwenden nur gekennzeichnete Frage-Antwort-Paare
    • Bei der weiteren Vorschulung wird roher Domänentext verwendet; Für die Feinabstimmung werden kuratierte, beschriftete Beispiele verwendet
    • Bei der Feinabstimmung werden mehr Daten verwendet als beim weiteren Vortraining
    • Bei der weiteren Vorschulung werden nur Bilder verwendet
  2. Wo wird der Verlust bei der überwachten Feinabstimmung normalerweise berechnet?
    • Auf jedem Token einschließlich der Eingabeaufforderung
    • Nur auf den Prompt-Tokens
    • Auf zufällig ausgewählten Token
    • Nur auf den Antworttoken
  3. Was ist Wiederholung im fortgesetzten Vortraining?
    • Mischen Sie einige allgemeine Daten in das Training, um das Vergessen einzuschränken
    • Dieselbe Charge zweimal ausführen
    • Das Training von Grund auf neu starten
    • Wiedergabe von Benutzergesprächen zum Zeitpunkt der Inferenz
  4. Wie wurde der Code Llama erstellt?
    • Nur Code von Grund auf neu
    • Durch promptes Engineering Llama 2
    • Indem Sie Llama 2 weiterhin auf einem großen Codekorpus trainieren
    • Durch die Feinabstimmung einiger hundert Codierungsfragen
  5. Welcher Ansatz ist laut Leitfaden bei Fakten, die sich häufig ändern, oft besser als eine Feinabstimmung?
    • Tägliches Vortraining fortgesetzt
    • Abruf aktueller Dokumente
    • Erhöhung der Probentemperatur
    • Einen größeren Tokenizer trainieren
  6. Welche Aussage zu BloombergGPT ist laut Leitfaden richtig?
    • Es wurde das Vortraining von Llama 2 fortgesetzt
    • Es wurde nur mit LoRA erstellt
    • Es war ein prompt konstruierter GPT-3
    • Es wurde von Grund auf auf Finanz- und allgemeine Daten geschult
  7. Was zeigte die 2020 erschienene Zeitung „Don't Stop Pretraining“?
    • Eine zweite Phase des Vortrainings für domäneninternen Text verbesserte RoBERTa für Domänenaufgaben
    • Das Vortraining sollte immer nach einer Epoche beendet werden
    • Eine Feinabstimmung ist für die Klassifizierung nutzlos
    • Domaintext schadet jedem Modell
  8. Warum die Lernrate zu Beginn des weiteren Vortrainings wieder erhöhen?
    • Um den Tokenizer zurückzusetzen
    • Zum Einfrieren der Grundgewichte
    • Das Fortsetzen mit einer hohen Rate destabilisiert das Training, während eine zu niedrige Rate wenig lernt
    • Um die Notwendigkeit von Domänendaten zu überspringen