Quiz połączony z przewodnikiem · Średni Poziom
Szybki quiz dotyczący tuningu
Przejrzyj komunikaty programowe w warstwie wejściowej, konfigurację zamrożonego modelu i wyniki zależne od skali zgłoszone w celu szybkiego dostrojenia.
Pytanie 1 z 8
Co to jest „miękki monit” w trybie szybkiego dostrajania?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Co to jest „miękki monit” w trybie szybkiego dostrajania?
- Nauczono się wektorów ciągłego osadzania, które nie muszą być mapowane na prawdziwe słowa
- Grzecznie sformułowana instrukcja tekstowa
- Mniejszy destylowany egzemplarz modelu
- Zestaw zamrożonych logitów wyjściowych
- Gdzie szybkie strojenie dodaje swoje wektory, które można trenować?
- Na każdej warstwie transformatora
- Tylko na wejściowej warstwie osadzania
- Tylko w warstwie wyjściowej
- Wewnątrz stanu optymalizatora
- Jaki zaskakujący wpływ na skalę modelu uwydatnił oryginalny artykuł?
- Szybkie strojenie pogarsza się wraz ze wzrostem modeli
- Skala nie ma wpływu na szybkie strojenie
- W miarę jak modele stają się większe, szybkie strojenie zbliża się do pełnej jakości dostrajania
- Większych modeli nie można już szybko dostrajać
- Kto wprowadził szybkie strojenie?
- DeepMind w 2016 r
- Anthropic w 2023 r
- Microsoft w 2019 r
- Naukowcy z Google (Lester, Al-Rfou, Constant) w 2021 r.
- W jaki sposób szybkie strojenie umożliwia obsługę wielu zadań z jednego modelu?
- Każde zadanie korzysta z własnego, małego, miękkiego monitu, podczas gdy model pozostaje zamrożony
- Ponowne uczenie całego modelu dla każdego żądania
- Usuwa niewykorzystane zadania z wag
- Wymaga oddzielnego procesora graficznego na każde zadanie
- How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
- As a replacement for frozen language models
- As a simpler related method that the paper compares with prefix tuning
- As a tokenizer with no trainable parameters
- As a method that updates every model weight
- Which model family did Lester and colleagues use to study prompt tuning across scales?
- Sieć WaveNet
- AlphaFold2
- T5
- Izolacyjny las
- How are soft prompts optimized in prompt tuning?
- By changing all model weights for each task
- By replacing embeddings with hard-coded words only
- By training a new tokenizer for every example
- By backpropagation through a frozen language model to update the prompt vectors