Kvíz spojený s průvodcem · Střední úroveň

Předtréninkový kvíz ELECTRA

Vysvětluje detekci nahrazených tokenů, role generátoru a diskriminátoru, učení napříč pozicemi tokenů a limity porovnávání výpočtů.

Související vodicí cestyPředškolní příprava Electra
Otázka 1 z 8

Jakou předtréninkovou úlohu používá ELECTRA místo modelování maskovaného jazyka?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakou předtréninkovou úlohu používá ELECTRA místo modelování maskovaného jazyka?
    • Nahrazena detekce tokenů
    • Předpovídání další věty
    • Autoregresivní predikce dalšího slova
    • Permutační jazykové modelování
  2. Proč je ELECTRA výpočetně efektivnější než BERT?
    • Používá mnohem menší slovní zásobu
    • Vypočítává signál učení přes všechny tokeny, nejen maskované
    • Trénuje se pouze na maskovaných 15 % žetonů
    • Úplně přeskakuje mechanismus pozornosti
  3. Jakou roli hraje v ELECTRA síť malých generátorů?
    • Konečné výstupy řadí podle kvality
    • Po tréninku model stlačí
    • Vytváří věrohodné náhradní žetony, které může diskriminátor posoudit
    • Překládá text mezi jazyky
  4. Co se stane s generátorem po dokončení předtrénování?
    • Je vyladěn pro následnou úlohu
    • Je sloučen s diskriminátorem
    • Stává se dekodérem pro generaci
    • Je vyřazen; používá se pouze diskriminátor
  5. ELECTRA byla vyvinuta především výzkumníky z jakých organizací?
    • Google a Stanford
    • Meta AI a NYU
    • OpenAI a Microsoft
    • DeepMind a Oxford
  6. Který pozdější model rozšířil myšlenku nahrazení detekce tokenů ELECTRA?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting