Útmutatóhoz kapcsolódó kvíz · Közepes Szint

ELECTRA előképzési kvíz

Explains replaced-token detection, generator and discriminator roles, learning across token positions, and the limits of compute comparisons.

Kapcsolódó útmutató utakElectra előképzés
kérdés 1 -ból 8

Milyen előképzési feladatot használ az ELECTRA a maszkos nyelvi modellezés helyett?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen előképzési feladatot használ az ELECTRA a maszkos nyelvi modellezés helyett?
    • Csere tokenészlelés
    • A következő mondat előrejelzése
    • Autoregresszív következő szó előrejelzése
    • Permutációs nyelvi modellezés
  2. Miért hatékonyabb az ELECTRA, mint a BERT?
    • Sokkal kisebb szókincset használ
    • Tanulási jelet számít ki az összes tokenre, nem csak a maszkoltra
    • Csak a jelzők maszkolt 15%-án edz
    • Teljesen kihagyja a figyelemmechanizmust
  3. Milyen szerepet játszik a kis generátorhálózat az ELECTRA-ban?
    • A végső kimeneteket minőség szerint rangsorolja
    • Edzés után tömöríti a modellt
    • Valószínű helyettesítő tokeneket állít elő a megkülönböztető megítélésére
    • Lefordítja a szöveget a nyelvek között
  4. Mi történik a generátorral az előképzés befejezése után?
    • Finomhangolásra került a downstream feladathoz
    • Egyesül a diszkriminátorral
    • Ez lesz a generáció dekódere
    • Eldobják; csak a diszkriminátort használjuk
  5. Az ELECTRA-t elsősorban mely szervezetek kutatói fejlesztették ki?
    • Google és Stanford
    • Meta AI és NYU
    • OpenAI és Microsoft
    • DeepMind és Oxford
  6. Melyik későbbi modell terjesztette ki az ELECTRA helyettesített token-észlelési ötletét?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting