引導式測驗 · 中等 等級
擴散變壓器測驗
探索 DiT 補丁令牌、調節、縮放、視訊時空表示以及許多令牌的注意力成本。
問題 1 的 8
與傳統擴散模型相比,擴散變壓器取代了哪些組件?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 與傳統擴散模型相比,擴散變壓器取代了哪些組件?
- 卷積 U-Net 降噪器
- 文字編碼器
- 影像解碼器
- 噪音時間表
- DiT 如何將影像轉換為 Transformer 可以處理的內容?
- 它將像素直接轉換為文字
- 它將潛在圖像分割成被視為標記的補丁
- 它對整個圖像使用一個標記
- 它首先將圖像轉換為音頻
- 最初的 DiT 論文對於縮放有什麼發現?
- 性能隨著尺寸的變化而迅速趨於穩定
- 更大的模型總是表現更差
- 隨著模型大小的增加和補丁大小的縮小,效能可預測地提高
- 補丁大小沒有影響
- DiT 通常如何注入時間步長和文字提示等條件?
- 透過將其附加為額外像素
- 透過每一步重新訓練模型
- 透過單獨的捲積分支
- 透過自適應層歸一化(adaLN)
- “adaLN-zero”初始化完成什麼作用?
- 它使每個 Transformer 區塊作為穩定訓練的恆等函數啟動
- 它刪除標準化層
- 它凍結了整個模型
- 它將輸入影像清零
- 哪個著名系統使用時空補丁上的 Transformer 主幹來產生影片?
- 傳統的 GAN
- OpenAI 的 Sora
- 循環神經網絡
- 決策樹模型
- Why can full self-attention become costly when a DiT processes many patches?
- Its cost stays constant for any token count
- It must retrain the U-Net at each denoising step
- Its pairwise token comparisons grow quadratically with the number of tokens
- It requires a separate language model for every patch
- After a DiT processes latent image patches with its Transformer blocks, what happens to the patch outputs?
- As one text token for an entire video
- As only a sequence of audio waveforms
- As a separate convolutional U-Net for each frame
- They are reassembled and decoded back into pixels