Tiếp theoHướng dẫn tiếp theo
Ghi nhớ trong các mô hình khuếch tán
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Adversarial Diffusion Distillation (ADD) is a training method that turns a slow, many-step diffusion model into a student that generates images in one to four steps.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
It combines an adversarial loss from a discriminator with guidance from the original teacher model. ADD produced SDXL Turbo, and a latent variant was used for fast models such as SD3 Turbo and, according to Black Forest Labs, Flux.1 schnell. The result is near-real-time image generation on ordinary hardware, at some cost in diversity and fine control.
A standard diffusion model creates an image by removing noise over many steps, commonly 20 to 50, and each step is a full pass through a large network. Distillation trains a student network to reach a similar result in far fewer steps. Stability AI introduced Adversarial Diffusion Distillation in a November 2023 paper by Axel Sauer and colleagues, released alongside SDXL Turbo. The student starts from the pretrained SDXL weights and is trained with two losses. The adversarial loss comes from a discriminator that tries to tell the student's outputs from real images. In ADD, this discriminator is built on a frozen pretrained vision backbone (DINOv2) with small trainable heads. The distillation loss uses the original SDXL as a teacher. The student's output is noised again, the teacher denoises it, and the student is pushed toward the teacher's prediction, a form of score distillation. The adversarial term keeps single-step images sharp, and the teacher term keeps them faithful to what the large model knows. A later variant, Latent Adversarial Diffusion Distillation (LADD), runs the discriminator in latent space using the teacher's own features, which avoids expensive decoding to pixels. It was used for SD3 Turbo, and Black Forest Labs has said Flux.1 schnell was trained this way. The trade-offs are real. Distilled models usually lose some sample diversity, so different seeds for the same prompt can look alike. Classifier-free guidance is typically built in, so the guidance scale and negative prompts behave differently or barely work. Fine detail, text rendering and unusual compositions may lag behind the teacher. A common misconception is that a turbo model is just the full model run with fewer steps. A normal model run at one step gives a blurry mess, and the speed comes from retraining. Other routes to fast sampling include consistency models, LCM, progressive distillation and SDXL Lightning.
A live drawing app regenerates the image every time the user types or edits a sketch, using SDXL Turbo at one step so results appear almost instantly.
A game studio prototyping concept art generates hundreds of quick variations with Flux.1 schnell at four steps, then refines the chosen ones with a slower full model.
A developer finds that negative prompts and high guidance values do little on a Turbo model, because guidance was built in during distillation. They adjust the prompt wording instead.
A small nonprofit runs a local image tool on a mid-range GPU and picks a distilled model because four-step generation keeps waits short enough for live workshops.
Few-step generation has become an expected option for new image models, and similar distillation ideas are being applied to video, where each saved step matters even more. Research continues on closing the gaps in diversity and prompt control, for example by combining adversarial losses with distribution-matching objectives. Whether one-step models can fully match their teachers is still an open question, and the answer depends on how quality is measured. For users, the practical result is more choice: fast distilled models for drafts, previews and interactive tools, and slower full models when detail and control matter most.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Adversarial Diffusion Distillation (ADD) is a training method that turns a slow, many-step diffusion model into a student that generates images in one to four steps. It combines an adversarial loss from a discriminator with guidance from the original teacher model. ADD produced SDXL Turbo, and a latent variant was used for fast models such as SD3 Turbo and, according to Black Forest Labs, Flux.1 schnell. The result is near-real-time image generation on ordinary hardware, at some cost in diversity and fine control.
ADD kết hợp sự mất mát đối nghịch của người phân biệt đối xử, giúp giữ cho hình ảnh sắc nét, với sự mất điểm chắt lọc từ giáo viên, giúp chúng trung thành với mô hình ban đầu.
Stability AI đã phát hành SDXL Turbo cùng với bài báo THÊM tháng 11 năm 2023 của Sauer và các đồng nghiệp.
Bộ phân biệt đối xử sử dụng các tính năng DINOv2 đã được tiền huấn luyện đông lạnh và chỉ huấn luyện các phần đầu nhỏ bên trên chúng.
LADD chuyển sự phân biệt vào không gian tiềm ẩn bằng cách sử dụng các tính năng riêng của giáo viên, giúp tránh việc giải mã tốn kém thành pixel.
Lời nhắc tiêu cực hoạt động thông qua hướng dẫn không có bộ phân loại. Các mô hình được chắt lọc thường tiếp thu hướng dẫn trong quá trình đào tạo và chạy mà không có hướng dẫn đó, vì vậy những lời nhắc tiêu cực sẽ mất tác dụng.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Ghi nhớ trong các mô hình khuếch tán
kỹ thuật