Bộ lấy mẫu DDPM và DDIM
DDPM và DDIM là hai cách để thực hiện quy trình ngược lại của mô hình khuếch tán, từng bước biến nhiễu ngẫu nhiên thành hình ảnh.
Tổng quan
DDPM là công thức ngẫu nhiên ban đầu; DDIM là một phím tắt nhanh hơn, xác định hơn, tạo ra các hình ảnh tương đương với ít bước hơn.
Lặn sâu
Một mô hình khuếch tán được huấn luyện bằng cách thêm dần nhiễu Gaussian vào hình ảnh, sau đó học cách dự đoán nhiễu đó. Lấy mẫu đảo ngược điều này. DDPM (Mô hình xác suất khuếch tán khử nhiễu, Ho và cộng sự 2020) xem xét lại mọi cấp độ tiếng ồn, thêm một chút tiếng ồn ngẫu nhiên mới ở mỗi bước, vì vậy, quy trình này thường cần hàng trăm đến một nghìn bước. DDIM (Mô hình tiềm ẩn khuếch tán khử nhiễu, Song và cộng sự 2021) sử dụng lại chính xác mạng đã được đào tạo nhưng đi theo một quỹ đạo xác định, phi Markovian. Bằng cách loại bỏ tính ngẫu nhiên được đưa vào, DDIM có thể bỏ qua nhiều bước thời gian và vẫn đạt được hình ảnh chất lượng cao sau 10-50 bước. Vì DDIM có tính xác định nên cùng một tiếng ồn ban đầu luôn mang lại cùng một hình ảnh, cho phép nội suy và khả năng tái tạo mượt mà.
Hiểu biết kỹ thuật
Cả hai bộ lấy mẫu đều sử dụng mạng dự đoán nhiễu epsilon được thêm vào hình ảnh ở bước thời gian t. Bản cập nhật của DDPM loại bỏ phiên bản thu nhỏ của dự đoán đó và sau đó thêm nhiễu phương sai được rút ra từ phần sau. DDIM viết lại bản cập nhật để trước tiên ước tính hình ảnh sạch x0, sau đó chiếu lại nó tới bước thời gian tiếp theo (nhỏ hơn) mà không có thuật ngữ ngẫu nhiên. Một tham số eta kết hợp cả hai: eta=1 phục hồi DDPM, eta=0 cung cấp DDIM hoàn toàn xác định.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của bộ lấy mẫu DDPM và DDIM
Nghiên cứu lấy mẫu đang chạy đua theo hướng tạo ra một hoặc vài bước. Các bộ giải ODE bậc cao hơn như DPM-Solver và DPM-Solver++ đã cắt việc lấy mẫu chất lượng xuống dưới 20 bước, trong khi các phương pháp chưng cất (chưng cất lũy tiến, mô hình nhất quán, tính nhất quán tiềm ẩn) nén các mô hình thành bộ tạo 1-4 bước. Kỳ vọng DDPM/DDIM sẽ vẫn là các khái niệm cơ bản trong khi các hệ thống sản xuất dựa vào các bộ giải thích ứng và chưng cất để tổng hợp hình ảnh và video theo thời gian thực trên phần cứng của người tiêu dùng.
Triển khai trong thế giới thực
Tạo hình ảnh Khuếch tán ổn định, trong đó DDIM được cung cấp dưới dạng bộ lấy mẫu mặc định nhanh cho lời nhắc chuyển văn bản thành hình ảnh trong các công cụ như Automat111 và ComfyUI.
Các quy trình nghệ thuật có thể tái tạo giúp cố định hạt giống ngẫu nhiên bằng DDIM xác định để cùng một dấu nhắc và hạt giống luôn tạo ra cùng một hình ảnh.
Nội suy không gian tiềm ẩn mượt mà giữa hai hình ảnh để biến đổi hình ảnh động, được thực hiện nhờ ánh xạ xác định của DDIM từ nhiễu đến đầu ra.
Lặp lại sáng tạo nhanh chóng trong đó các nhà thiết kế sử dụng bản xem trước DDIM 20 bước để khám phá các khái niệm trước khi thực hiện kết xuất toàn bước chậm hơn, độ trung thực cao hơn.
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DDPM and DDIM Samplers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Khoảng cách khởi đầu của Fréchet
Câu hỏi thường gặp
Bộ lấy mẫu DDPM và DDIM là gì?
DDPM và DDIM là hai cách để thực hiện quy trình ngược lại của mô hình khuếch tán, từng bước biến nhiễu ngẫu nhiên thành hình ảnh. DDPM là công thức ngẫu nhiên ban đầu; DDIM là một phím tắt nhanh hơn, xác định hơn, tạo ra các hình ảnh tương đương với ít bước hơn.
Ưu điểm thực tế chính của DDIM so với DDPM là gì?
DDIM đi theo quỹ đạo xác định, không phải Markovian cho phép nó bỏ qua nhiều dấu thời gian, tạo ra hình ảnh chất lượng trong khoảng 10-50 bước thay vì hàng trăm bước.
Mạng lưới thần kinh của mô hình khuếch tán thực sự học được gì để dự đoán trong quá trình đào tạo?
Mạng được đào tạo để dự đoán nhiễu Gaussian (epsilon) được thêm vào ở mỗi dấu thời gian, sau đó cả DDPM và DDIM đều sử dụng để đảo ngược quá trình.
Tại sao DDIM có thể tạo ra cùng một hình ảnh từ cùng một tiếng ồn ban đầu mỗi lần?
DDIM loại bỏ thuật ngữ nhiễu ngẫu nhiên trong bản cập nhật của nó, làm cho đường dẫn từ nhiễu đến hình ảnh hoàn toàn xác định và do đó có thể tái tạo được.
Trong DDIM, giá trị nào của tham số eta khôi phục hành vi DDPM ngẫu nhiên ban đầu?
Tham số eta nội suy giữa hai bộ lấy mẫu: eta=1 cung cấp tính ngẫu nhiên DDPM đầy đủ, trong khi eta=0 cung cấp DDIM xác định đầy đủ.
DDPM ban đầu thường cần bao nhiêu bước để có được mẫu chất lượng cao?
DDPM quay lại mọi mức độ nhiễu và thêm tính ngẫu nhiên, do đó, nó thường được yêu cầu theo thứ tự từ hàng trăm đến hàng nghìn bước ngược lại.