Útmutatóhoz kapcsolódó kvíz · Közepes Szint
ELECTRA előképzési kvíz
Explains replaced-token detection, generator and discriminator roles, learning across token positions, and the limits of compute comparisons.
kérdés 1 -ból 8
Milyen előképzési feladatot használ az ELECTRA a maszkos nyelvi modellezés helyett?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen előképzési feladatot használ az ELECTRA a maszkos nyelvi modellezés helyett?
- Csere tokenészlelés
- A következő mondat előrejelzése
- Autoregresszív következő szó előrejelzése
- Permutációs nyelvi modellezés
- Miért hatékonyabb az ELECTRA, mint a BERT?
- Sokkal kisebb szókincset használ
- Tanulási jelet számít ki az összes tokenre, nem csak a maszkoltra
- Csak a jelzők maszkolt 15%-án edz
- Teljesen kihagyja a figyelemmechanizmust
- Milyen szerepet játszik a kis generátorhálózat az ELECTRA-ban?
- A végső kimeneteket minőség szerint rangsorolja
- Edzés után tömöríti a modellt
- Valószínű helyettesítő tokeneket állít elő a megkülönböztető megítélésére
- Lefordítja a szöveget a nyelvek között
- Mi történik a generátorral az előképzés befejezése után?
- Finomhangolásra került a downstream feladathoz
- Egyesül a diszkriminátorral
- Ez lesz a generáció dekódere
- Eldobják; csak a diszkriminátort használjuk
- Az ELECTRA-t elsősorban mely szervezetek kutatói fejlesztették ki?
- Google és Stanford
- Meta AI és NYU
- OpenAI és Microsoft
- DeepMind és Oxford
- Melyik későbbi modell terjesztette ki az ELECTRA helyettesített token-észlelési ötletét?
- GPT-2
- DeBERTa-v3
- T5
- Word2Vec
- What happens if ELECTRA’s generator proposes the original token at a position?
- It is always labeled replaced because the generator proposed it
- The position is removed from the input
- That token is treated as original by the discriminator’s replaced-token label
- The whole sequence is discarded
- When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
- Compare model names alone
- Assume every ELECTRA run uses one fixed compute ratio
- Ignore generator training cost
- Specify model size, data, training budget, and evaluation setting