Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về máy biến áp khuếch tán

Khám phá mã thông báo bản vá DiT, điều hòa, chia tỷ lệ, biểu diễn không gian-thời gian video và chi phí chú ý của nhiều mã thông báo.

Đường dẫn hướng dẫn liên quanMáy biến áp khuếch tán
Câu hỏi 1 của 8

Máy biến áp khuếch tán thay thế thành phần nào so với các mẫu máy khuếch tán truyền thống?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Máy biến áp khuếch tán thay thế thành phần nào so với các mẫu máy khuếch tán truyền thống?
    • Bộ khử nhiễu U-Net tích chập
    • Bộ mã hóa văn bản
    • Bộ giải mã hình ảnh
    • Lịch trình tiếng ồn
  2. DiT biến hình ảnh thành thứ gì đó mà Transformer có thể xử lý bằng cách nào?
    • Nó chuyển đổi pixel trực tiếp thành từ
    • Nó chia hình ảnh tiềm ẩn thành các mảng được coi là mã thông báo
    • Nó sử dụng một mã thông báo cho toàn bộ hình ảnh
    • Nó chuyển đổi hình ảnh thành âm thanh đầu tiên
  3. Bài báo DiT ban đầu đã tìm thấy gì về việc chia tỷ lệ?
    • Hiệu suất ổn định nhanh chóng với kích thước
    • Những mô hình lớn hơn luôn hoạt động kém hơn
    • Hiệu suất cải thiện có thể dự đoán được khi kích thước mô hình tăng lên và kích thước bản vá thu hẹp lại
    • Kích thước bản vá không có hiệu lực
  4. DiT thường đưa điều hòa như dấu thời gian và lời nhắc văn bản vào như thế nào?
    • Bằng cách thêm nó dưới dạng pixel bổ sung
    • Bằng cách đào tạo lại mô hình từng bước
    • Thông qua một nhánh tích chập riêng biệt
    • Thông qua chuẩn hóa lớp thích ứng (adaLN)
  5. Việc khởi tạo 'adaLN-zero' thực hiện điều gì?
    • Nó làm cho mỗi khối Transformer khởi động như một hàm nhận dạng để huấn luyện ổn định
    • Nó xóa các lớp chuẩn hóa
    • Nó đóng băng toàn bộ mô hình
    • Nó loại bỏ hình ảnh đầu vào
  6. Hệ thống nổi tiếng nào sử dụng đường trục Transformer trên các bản vá không thời gian để tạo video?
    • GAN truyền thống
    • OpenAI của Sora
    • Mạng lưới thần kinh tái phát
    • Mô hình cây quyết định
  7. Why can full self-attention become costly when a DiT processes many patches?
    • Its cost stays constant for any token count
    • It must retrain the U-Net at each denoising step
    • Its pairwise token comparisons grow quadratically with the number of tokens
    • It requires a separate language model for every patch
  8. After a DiT processes latent image patches with its Transformer blocks, what happens to the patch outputs?
    • As one text token for an entire video
    • As only a sequence of audio waveforms
    • As a separate convolutional U-Net for each frame
    • They are reassembled and decoded back into pixels