Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący architektur koderów i dekoderów

Przejrzyj komponenty modelu kodera-dekodera, uwagę od źródła do celu i zastosowania zamiany tekstu na tekst w zadaniach tłumaczeniowych i językowych.

Powiązane ścieżki prowadząceArchitektury dekoderów koderów
Pytanie 1 z 8

Jakie jest główne zadanie kodera w modelu koder-dekoder?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jakie jest główne zadanie kodera w modelu koder-dekoder?
    • Aby odczytać dane wejściowe i przekształcić je w bogate reprezentacje wewnętrzne
    • Aby wygenerować dane wyjściowe po jednym totonie na raz
    • Aby uszeregować potencjalne wyniki według prawdopodobieństwa
    • Do przechowywania danych szkoleniowych modelu
  2. Dlaczego dekoder wykorzystuje zamaskowaną (przyczynową) samouważność?
    • Aby ukryć dane wejściowe przed koderem
    • Aby uniemożliwić każdej pozycji wyświetlanie przyszłych tokenów podczas generowania
    • Aby skompresować dane wyjściowe do mniejszej liczby tokenów
    • Aby losowo upuścić tokeny w celu uregulowania
  3. Jaki mechanizm łączy dekoder z reprezentacjami kodera?
    • Rezygnacja
    • Normalizacja wsadowa
    • Uwaga krzyżowa
    • Kodowanie pozycyjne
  4. Który z tych modeli jest architekturą kodera-dekodera (sekwencja po sekwencji)?
    • GPT-3
    • BERT
    • Word2Vec
    • T5
  5. Dlaczego projekt kodera-dekodera w naturalny sposób pasuje do tłumaczenia?
    • Ponieważ dane wejściowe i wyjściowe to różne sekwencje, wymagające pełnego zrozumienia, a następnie nowego wygenerowania
    • Ponieważ wejście i wyjście mają zawsze tę samą długość
    • Ponieważ nigdy nie musi generować nowego tekstu
    • Ponieważ całkowicie unika używania uwagi
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text