Kvíz spojený s průvodcem · Střední úroveň
Předtréninkový kvíz ELECTRA
Vysvětluje detekci nahrazených tokenů, role generátoru a diskriminátoru, učení napříč pozicemi tokenů a limity porovnávání výpočtů.
Otázka 1 z 8
Jakou předtréninkovou úlohu používá ELECTRA místo modelování maskovaného jazyka?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakou předtréninkovou úlohu používá ELECTRA místo modelování maskovaného jazyka?
- Nahrazena detekce tokenů
- Předpovídání další věty
- Autoregresivní predikce dalšího slova
- Permutační jazykové modelování
- Proč je ELECTRA výpočetně efektivnější než BERT?
- Používá mnohem menší slovní zásobu
- Vypočítává signál učení přes všechny tokeny, nejen maskované
- Trénuje se pouze na maskovaných 15 % žetonů
- Úplně přeskakuje mechanismus pozornosti
- Jakou roli hraje v ELECTRA síť malých generátorů?
- Konečné výstupy řadí podle kvality
- Po tréninku model stlačí
- Vytváří věrohodné náhradní žetony, které může diskriminátor posoudit
- Překládá text mezi jazyky
- Co se stane s generátorem po dokončení předtrénování?
- Je vyladěn pro následnou úlohu
- Je sloučen s diskriminátorem
- Stává se dekodérem pro generaci
- Je vyřazen; používá se pouze diskriminátor
- ELECTRA byla vyvinuta především výzkumníky z jakých organizací?
- Google a Stanford
- Meta AI a NYU
- OpenAI a Microsoft
- DeepMind a Oxford
- Který pozdější model rozšířil myšlenku nahrazení detekce tokenů ELECTRA?
- GPT-2
- DeBERTa-v3
- T5
- Word2Vec
- What happens if ELECTRA’s generator proposes the original token at a position?
- It is always labeled replaced because the generator proposed it
- The position is removed from the input
- That token is treated as original by the discriminator’s replaced-token label
- The whole sequence is discarded
- When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
- Compare model names alone
- Assume every ELECTRA run uses one fixed compute ratio
- Ignore generator training cost
- Specify model size, data, training budget, and evaluation setting