Quiz połączony z przewodnikiem · Średni Poziom

Quiz przedtreningowy ELECTRA

Wyjaśnia wykrywanie zastąpionych tokenów, role generatora i dyskryminatora, uczenie się na pozycjach tokenów oraz ograniczenia porównań obliczeniowych.

Powiązane ścieżki prowadząceTrening wstępny Elektry
Pytanie 1 z 8

Jakie zadanie przedtreningowe wykorzystuje ELECTRA zamiast modelowania języka maskowanego?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jakie zadanie przedtreningowe wykorzystuje ELECTRA zamiast modelowania języka maskowanego?
    • Zastąpiono wykrywanie tokena
    • Przewidywanie następnego zdania
    • Autoregresyjne przewidywanie następnego słowa
    • Modelowanie języka permutacyjnego
  2. Dlaczego ELECTRA jest bardziej wydajna obliczeniowo niż BERT?
    • Używa znacznie mniejszego słownictwa
    • Oblicza sygnał uczenia się dla wszystkich tokenów, a nie tylko tych zamaskowanych
    • Trenuje tylko na zamaskowanych 15% tokenów
    • Całkowicie pomija mechanizm uwagi
  3. Jaką rolę w ELECTRA pełni sieć małych generatorów?
    • Klasyfikuje wyniki końcowe według jakości
    • Kompresuje model po treningu
    • Tworzy wiarygodne żetony zastępcze, które może ocenić dyskryminator
    • Tłumaczy tekst pomiędzy językami
  4. Co dzieje się z generatorem po zakończeniu wstępnego treningu?
    • Jest dostosowany do dalszych zadań
    • Jest połączony z dyskryminatorem
    • Staje się dekoderem na pokolenie
    • Jest odrzucany; używany jest tylko dyskryminator
  5. ELECTRA została opracowana głównie przez badaczy z jakich organizacji?
    • Google i Stanforda
    • Meta AI i Uniwersytet Nowojorski
    • OpenAI i Microsoft
    • DeepMind i Oxford
  6. Który z późniejszych modeli rozszerzył pomysł firmy ELECTRA na wykrywanie zastąpionego tokena?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting