Kuis terkait panduan · Sedang Tingkat

Kuis Transformator Difusi

Jelajahi token patch DiT, pengkondisian, penskalaan, representasi ruang-waktu video, dan biaya perhatian dari banyak token.

Jalur panduan terkaitTransformator Difusi
Pertanyaan 1 dari 8

Komponen apa yang digantikan oleh Transformator Difusi dibandingkan dengan model difusi tradisional?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Komponen apa yang digantikan oleh Transformator Difusi dibandingkan dengan model difusi tradisional?
    • Penyangkal U-Net yang konvolusional
    • Pembuat enkode teks
    • Dekoder gambar
    • Jadwal kebisingan
  2. Bagaimana DiT mengubah gambar menjadi sesuatu yang dapat diproses oleh Transformer?
    • Ini mengubah piksel langsung menjadi kata-kata
    • Ini membagi gambar laten menjadi tambalan yang diperlakukan sebagai token
    • Ini menggunakan satu token untuk keseluruhan gambar
    • Ini mengubah gambar menjadi audio terlebih dahulu
  3. Apa yang ditemukan oleh makalah DiT asli tentang penskalaan?
    • Kinerja stabil dengan cepat seiring dengan ukuran
    • Model yang lebih besar selalu memiliki performa yang lebih buruk
    • Kinerja diperkirakan meningkat seiring bertambahnya ukuran model dan menyusutnya ukuran patch
    • Ukuran tambalan tidak berpengaruh
  4. Bagaimana DiT biasanya memasukkan pengondisian seperti petunjuk waktu dan teks?
    • Dengan menambahkannya sebagai piksel tambahan
    • Dengan melatih ulang model di setiap langkah
    • Melalui cabang konvolusional terpisah
    • Melalui normalisasi lapisan adaptif (adaLN)
  5. Apa yang dicapai oleh inisialisasi 'adaLN-zero'?
    • Itu membuat setiap blok Transformer dimulai sebagai fungsi identitas untuk pelatihan yang stabil
    • Ini menghapus lapisan normalisasi
    • Ini membekukan seluruh model
    • Ini menghilangkan gambar masukan
  6. Sistem terkenal manakah yang menggunakan tulang punggung Transformer melalui patch ruangwaktu untuk pembuatan video?
    • GAN tradisional
    • OpenAI Sora
    • Jaringan saraf berulang
    • Model pohon keputusan
  7. Why can full self-attention become costly when a DiT processes many patches?
    • Its cost stays constant for any token count
    • It must retrain the U-Net at each denoising step
    • Its pairwise token comparisons grow quadratically with the number of tokens
    • It requires a separate language model for every patch
  8. After a DiT processes latent image patches with its Transformer blocks, what happens to the patch outputs?
    • As one text token for an entire video
    • As only a sequence of audio waveforms
    • As a separate convolutional U-Net for each frame
    • They are reassembled and decoded back into pixels