Kuis terkait panduan · Sedang Tingkat

Kuis Lintas Perhatian

Pahami bagaimana perhatian silang memungkinkan satu urutan atau modalitas merepresentasikan representasi dari urutan atau modalitas lain dalam model transformator.

Jalur panduan terkaitLintas Perhatian
Pertanyaan 1 dari 8

Apa perbedaan utama antara perhatian diri dan perhatian silang?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa perbedaan utama antara perhatian diri dan perhatian silang?
    • Dalam perhatian silang, kueri berasal dari satu urutan dan kunci/nilai dari urutan lain
    • Perhatian silang tidak menggunakan softmax
    • Perhatian diri hanya bekerja pada gambar
    • Perhatian silang tidak dapat dilatih dengan penurunan gradien
  2. Dalam Transformer encoder-decoder, dari mana asal pertanyaan untuk perhatian silang?
    • Keluaran pembuat enkode
    • Status dekoder saat ini
    • Hanya penyematan masukan mentah
    • Matriks acak terpisah
  3. Mengapa dua rangkaian dalam perhatian silang dapat memiliki panjang atau modalitas yang berbeda?
    • Karena perhatian membutuhkan masukan yang panjangnya sama
    • Karena itu mengabaikan salah satu urutan sepenuhnya
    • Karena kueri dan kunci berasal dari sumber yang berbeda dan independen
    • Karena itu memasukkan semuanya ke ukuran tetap terlebih dahulu
  4. Bagaimana Difusi Stabil menggunakan perhatian silang?
    • Untuk mengompresi gambar menjadi file yang lebih kecil
    • Untuk menerjemahkan teks antar bahasa
    • Untuk menghilangkan noise dari audio
    • Untuk mengkondisikan wilayah gambar yang dihasilkan pada prompt teks
  5. Operasi matematika apa yang membagi perhatian silang dengan perhatian diri?
    • Menskalakan perhatian produk titik dengan softmax
    • Konvolusi piksel
    • Pembaruan status berulang
    • Tabel pencarian berkode keras
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs