Gids-gekoppelde quiz · Middelmatig Niveau
Snelle afstemmingsquiz
Bekijk soft prompts op de invoerlagen, de bevroren modelopstelling, en de schaalafhankelijke resultaten die zijn gerapporteerd voor prompt-tuning.
Vraag 1 van 8
Wat is een 'zachte prompt' bij promptafstemming?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is een 'zachte prompt' bij promptafstemming?
- Leerde continue inbeddingsvectoren die niet hoeven te worden toegewezen aan echte woorden
- Een beleefd geformuleerde tekstinstructie
- Een kleinere gedistilleerde kopie van het model
- Een set bevroren uitvoerlogboeken
- Waar voegt prompt tuning de trainbare vectoren toe?
- Op elke transformatorlaag
- Alleen op de invoerinbeddingslaag
- Alleen op de uitvoerlaag
- Binnen de optimalisatiestatus
- Welk verrassende effect benadrukte het originele artikel op de schaal van modellen?
- Snelle afstemming wordt erger naarmate modellen groeien
- Schaal heeft geen effect op snelle afstemming
- Naarmate modellen groter worden, benadert snelle afstemming de volledige fijnafstellingskwaliteit
- Grotere modellen kunnen niet langer snel worden afgesteld
- Wie heeft prompt tuning geïntroduceerd?
- DeepMind in 2016
- Anthropic in 2023
- Microsoft in 2019
- Onderzoekers bij Google (Lester, Al-Rfou, Constant) in 2021
- Hoe maakt prompttuning het mogelijk om veel taken vanuit één model uit te voeren?
- Elke taak gebruikt zijn eigen kleine zachte prompt terwijl het model bevroren blijft
- Voor elk verzoek wordt het hele model opnieuw getraind
- Het verwijdert ongebruikte taken uit de gewichten
- Het vereist een aparte GPU per taak
- How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
- As a replacement for frozen language models
- As a simpler related method that the paper compares with prefix tuning
- As a tokenizer with no trainable parameters
- As a method that updates every model weight
- Which model family did Lester and colleagues use to study prompt tuning across scales?
- WaveNet
- AlphaFold2
- T5
- Isolatie Bos
- How are soft prompts optimized in prompt tuning?
- By changing all model weights for each task
- By replacing embeddings with hard-coded words only
- By training a new tokenizer for every example
- By backpropagation through a frozen language model to update the prompt vectors