Mit dem Guide verknüpftes Quiz · Mittel Ebene

Präfix-Tuning-Quiz

Bewerten Sie den Frozen-Backbone-Ansatz des Präfix-Tunings, die Parametereinsparungen pro Aufgabe, die Platzierung der Aufmerksamkeitsebene und die Ergebnisse bei Aufgaben zur Generierung natürlicher Sprache.

Verwandte FührungspfadePräfix-Tuning
Frage 1 von 8

Was trainiert eigentlich Präfix-Tuning?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was trainiert eigentlich Präfix-Tuning?
    • Alle Transformatorgewichte des Modells
    • Nur die Ausgabevokabularschicht des Modells
    • Für jede Aufgabe eine separate Kopie des Modells
    • Ein kleiner Satz kontinuierlicher Präfixvektoren, während das Modell eingefroren bleibt
  2. Wo werden die Präfixvektoren eingefügt?
    • In die Schlüssel und Werte auf jeder Aufmerksamkeitsebene
    • Nur auf der letzten Ausgabeebene
    • Nur in die Verlustfunktion
    • Vor dem Einbetten in den Tokenizer
  3. Wer hat die Präfixoptimierung eingeführt und ungefähr wann?
    • OpenAI im Jahr 2018
    • Li und Liang in Stanford im Jahr 2021
    • Google im Jahr 2015
    • Meta im Jahr 2023
  4. Warum ist die Präfixoptimierung für viele Aufgaben attraktiv?
    • Es sind keinerlei Trainingsdaten erforderlich
    • Dadurch wird die Inferenz ohne Hardware ausgeführt
    • Jede Aufgabe benötigt nur ein kleines Präfix anstelle einer vollständigen Modellkopie
    • Es schreibt das Basismodell für alle Aufgaben gleichzeitig permanent neu
  5. Welcher Trick wird häufig verwendet, um das Präfixtraining zu stabilisieren?
    • Verdoppelung der Lernrate bei jedem Schritt
    • Präfix einfrieren und Modell trainieren
    • Alle Aufmerksamkeitsebenen entfernen
    • Neuparametrierung des Präfixes durch ein kleines Feed-Forward-Netzwerk, das später verworfen wird
  6. Bei welcher Art von Aufgabe glänzte die Präfixoptimierung besonders?
    • Erzeugung natürlicher Sprache wie Table-to-Text und Zusammenfassung
    • Bildklassifizierung
    • Audio-Wellenform-Synthese
    • Datenbankindizierung
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Ungefähr 50 %
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter