Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Transformers Resapan
Terokai token tampung DiT, penyaman udara, penskalaan, perwakilan ruang masa video dan kos perhatian bagi banyak token.
soalan 1 daripada 8
Apakah komponen yang digantikan oleh Transformer Resapan berbanding model resapan tradisional?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah komponen yang digantikan oleh Transformer Resapan berbanding model resapan tradisional?
- Penafi U-Net konvolusi
- Pengekod teks
- Penyahkod imej
- Jadual bunyi bising
- Bagaimanakah DiT mengubah imej menjadi sesuatu yang boleh diproses oleh Transformer?
- Ia menukar piksel terus kepada perkataan
- Ia membahagikan imej terpendam kepada tompok yang dianggap sebagai token
- Ia menggunakan satu token untuk keseluruhan imej
- Ia menukar imej kepada audio terlebih dahulu
- Apakah yang ditemui oleh kertas DiT asal tentang penskalaan?
- Dataran tinggi prestasi dengan cepat dengan saiz
- Model yang lebih besar sentiasa berprestasi lebih teruk
- Prestasi boleh diramalkan bertambah baik apabila saiz model membesar dan saiz tampalan mengecil
- Saiz patch tidak mempunyai kesan
- Bagaimanakah DiT biasanya menyuntik pelaziman seperti langkah masa dan gesaan teks?
- Dengan menambahkannya sebagai piksel tambahan
- Dengan melatih semula model setiap langkah
- Melalui cawangan konvolusi yang berasingan
- Melalui penormalan lapisan penyesuaian (adaLN)
- Apakah yang dicapai oleh permulaan 'adaLN-sifar'?
- Ia menjadikan setiap blok Transformer bermula sebagai fungsi identiti untuk latihan yang stabil
- Ia memadamkan lapisan normalisasi
- Ia membekukan keseluruhan model
- Ia memusnahkan imej input
- Sistem terkenal manakah yang menggunakan tulang belakang Transformer melalui tompok ruang masa untuk penjanaan video?
- GAN tradisional
- OpenAI's Sora
- Rangkaian saraf berulang
- Model pokok keputusan
- Why can full self-attention become costly when a DiT processes many patches?
- Its cost stays constant for any token count
- It must retrain the U-Net at each denoising step
- Its pairwise token comparisons grow quadratically with the number of tokens
- It requires a separate language model for every patch
- After a DiT processes latent image patches with its Transformer blocks, what happens to the patch outputs?
- As one text token for an entire video
- As only a sequence of audio waveforms
- As a separate convolutional U-Net for each frame
- They are reassembled and decoded back into pixels