Kvíz spojený s průvodcem · Střední úroveň
Kvíz rychlého ladění
Prohlédněte si softwarové výzvy ve vstupní vrstvě, nastavení zmrazeného modelu a výsledky závislé na měřítku hlášené pro rychlé ladění.
Otázka 1 z 8
Co je to „soft prompt“ při rychlém ladění?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co je to „soft prompt“ při rychlém ladění?
- Naučil se spojité vektory vkládání, které se nemusí mapovat na skutečná slova
- Slušně formulovaný textový pokyn
- Menší destilovaná kopie modelu
- Sada zmrazených výstupních logitů
- Kde rychlé ladění přidá své trénovatelné vektory?
- Na každé vrstvě transformátoru
- Pouze na vstupní vrstvě vkládání
- Pouze na výstupní vrstvě
- Uvnitř stavu optimalizátoru
- Jaký překvapivý efekt vyzdvihl původní článek o měřítku modelu?
- Pohotové ladění se s růstem modelů zhoršuje
- Měřítko nemá žádný vliv na rychlé ladění
- Jak se modely zvětšují, rychlé ladění se blíží plné kvalitě jemného ladění
- Větší modely již nelze promptně vyladit
- Kdo zavedl rychlé ladění?
- DeepMind v roce 2016
- Anthropic v roce 2023
- Microsoft v roce 2019
- Výzkumníci z Google (Lester, Al-Rfou, Constant) v roce 2021
- Jak rychlé ladění umožňuje obsluhu mnoha úloh z jednoho modelu?
- Každá úloha používá svou vlastní malou soft prompt, zatímco model zůstává zmrazený
- Pro každý požadavek přeškolí celý model
- Vymaže nepoužité úkoly z vah
- Vyžaduje samostatnou GPU pro každou úlohu
- How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
- As a replacement for frozen language models
- As a simpler related method that the paper compares with prefix tuning
- As a tokenizer with no trainable parameters
- As a method that updates every model weight
- Which model family did Lester and colleagues use to study prompt tuning across scales?
- WaveNet
- AlphaFold2
- T5
- Izolační les
- How are soft prompts optimized in prompt tuning?
- By changing all model weights for each task
- By replacing embeddings with hard-coded words only
- By training a new tokenizer for every example
- By backpropagation through a frozen language model to update the prompt vectors