Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Silang Perhatian

Fahami cara perhatian silang membolehkan satu jujukan atau modaliti mewakili pertanyaan daripada jujukan atau modaliti lain dalam model pengubah.

Laluan panduan yang berkaitanPerhatian Silang
soalan 1 daripada 8

Apakah perbezaan utama antara perhatian diri dan perhatian silang?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah perbezaan utama antara perhatian diri dan perhatian silang?
    • Dalam perhatian silang, pertanyaan datang daripada satu urutan dan kunci/nilai daripada yang lain
    • Perhatian silang tidak menggunakan softmax
    • Perhatian diri hanya berfungsi pada imej
    • Perhatian silang tidak boleh dilatih dengan penurunan kecerunan
  2. Dalam Transformer pengekod-penyahkod, dari manakah pertanyaan untuk perhatian silang datang?
    • Output pengekod
    • Keadaan semasa penyahkod
    • Benam input mentah sahaja
    • Matriks rawak yang berasingan
  3. Mengapakah kedua-dua urutan dalam perhatian silang mempunyai panjang atau modaliti yang berbeza?
    • Kerana perhatian memerlukan input yang sama panjang
    • Kerana ia mengabaikan salah satu urutan sepenuhnya
    • Kerana pertanyaan dan kunci datang daripada sumber bebas yang berbeza
    • Kerana ia meletakkan segala-galanya kepada saiz tetap terlebih dahulu
  4. Bagaimanakah Resapan Stabil menggunakan perhatian silang?
    • Untuk memampatkan imej kepada fail yang lebih kecil
    • Untuk menterjemah teks antara bahasa
    • Untuk mengeluarkan bunyi daripada audio
    • Untuk keadaan kawasan imej yang dijana pada gesaan teks
  5. Apakah operasi matematik yang dikongsi oleh perhatian silang dengan perhatian kendiri?
    • Perhatian produk titik berskala dengan softmax
    • Konvolusi ke atas piksel
    • Kemas kini keadaan berulang
    • Jadual carian berkod keras
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs