เครื่องเก็บตัวอย่าง DDPM และ DDIM
DDPM และ DDIM เป็นสองวิธีในการรันกระบวนการย้อนกลับของแบบจำลองการแพร่กระจาย โดยเปลี่ยนสัญญาณรบกวนแบบสุ่มให้เป็นภาพทีละขั้นตอน
ภาพรวม
DDPM และ DDIM เป็นสองวิธีในการรันกระบวนการย้อนกลับของแบบจำลองการแพร่กระจาย โดยเปลี่ยนสัญญาณรบกวนแบบสุ่มให้เป็นภาพทีละขั้นตอน DDPM เป็นสูตรสุ่มดั้งเดิม DDIM เป็นทางลัดที่รวดเร็วและกำหนดได้เองซึ่งสร้างภาพที่เทียบเคียงได้ในขั้นตอนที่น้อยกว่ามาก
DDPM และ DDIM Samplers อยู่ในเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินงาน และความคิดสร้างสรรค์
เจาะลึก
แบบจำลองการแพร่กระจายได้รับการฝึกฝนโดยการค่อยๆ เพิ่มสัญญาณรบกวนแบบเกาส์เซียนให้กับภาพ จากนั้นจึงเรียนรู้ที่จะทำนายสัญญาณรบกวนดังกล่าว การสุ่มตัวอย่างกลับสิ่งนี้ DDPM (Denoising Diffusion Probabilistic Models, Ho et al. 2020) เดินย้อนกลับไปทุกระดับของเสียงรบกวน โดยเพิ่มสัญญาณรบกวนแบบสุ่มเล็กๆ น้อยๆ ในแต่ละขั้นตอน ดังนั้น โดยทั่วไปต้องใช้หลายร้อยถึงหนึ่งพันก้าว DDIM (Denoising Diffusion Implicit Models, Song et al. 2021) นำเครือข่ายที่ได้รับการฝึกมาเหมือนกันทุกประการกลับมาใช้ใหม่ แต่เป็นไปตามวิถีโคจรที่กำหนดขึ้นซึ่งไม่ใช่แบบ Markovian เมื่อยกเลิกการสุ่มที่ฉีดเข้าไป DDIM จะสามารถข้ามเวลาได้หลายครั้งและยังคงได้ภาพคุณภาพสูงใน 10-50 ขั้นตอน เนื่องจาก DDIM ถูกกำหนดไว้ เสียงเริ่มต้นที่เหมือนกันจึงให้ภาพเดียวกันเสมอ ช่วยให้การแก้ไขและทำซ้ำได้อย่างราบรื่น
ข้อมูลเชิงลึกทางเทคนิค
เครื่องเก็บตัวอย่างทั้งสองใช้เครือข่ายที่คาดการณ์เอปไซลอนสัญญาณรบกวนที่เพิ่มให้กับรูปภาพ ณ ไทม์สเต็ป t การอัปเดตของ DDPM จะลบเวอร์ชันที่ปรับขนาดของการทำนายนั้น แล้วเพิ่มสัญญาณรบกวนความแปรปรวนที่ดึงมาจากด้านหลัง DDIM เขียนการอัปเดตใหม่เพื่อประมาณค่าคลีนอิมเมจ x0 ก่อน จากนั้นจึงฉายซ้ำไปยังลำดับเวลาถัดไป (น้อยกว่า) โดยไม่มีคำสุ่ม พารามิเตอร์ eta ผสมผสานทั้งสอง: eta=1 กู้คืน DDPM, eta=0 ให้ DDIM ที่กำหนดโดยสมบูรณ์
การเรียนรู้ DDPM และ DDIM Sampler
หากต้องการสร้างความเข้าใจอย่างลึกซึ้ง ให้ปฏิบัติต่อ DDPM และ DDIM Samplers เสมือนเป็นโมเดลการทำงาน ไม่ใช่คุณลักษณะเดียว กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ DDPM และ DDIM Samplers จะรักษาสมดุลระหว่างความแม่นยำกับความเป็นจริงในการปฏิบัติงาน เช่น คุณภาพของข้อมูล ความแปรปรวนของแสง และความสม่ำเสมอในการติดฉลาก โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในขณะเดียวกัน สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างภาพการแพร่กระจายที่เสถียร โดยที่ DDIM ถูกนำเสนอเป็นตัวอย่างเริ่มต้นที่รวดเร็วสำหรับการแจ้งข้อความเป็นภาพในเครื่องมือ เช่น Automatic1111 และ ComfyUI
ไปป์ไลน์ศิลปะที่ทำซ้ำได้ซึ่งแก้ไขเมล็ดสุ่มด้วย DDIM ที่กำหนด ดังนั้นพรอมต์และเมล็ดเดียวกันจะสร้างภาพที่เหมือนกันเสมอ
การประมาณค่าพื้นที่แฝงระหว่างสองภาพอย่างราบรื่นสำหรับการปรับเปลี่ยนภาพเคลื่อนไหว เกิดขึ้นได้โดยการแมปที่กำหนดขึ้นของ DDIM จากสัญญาณรบกวนไปยังเอาต์พุต
การทำซ้ำครีเอทีฟโฆษณาอย่างรวดเร็วโดยนักออกแบบใช้การแสดงตัวอย่าง DDIM 20 ขั้นตอนเพื่อสำรวจแนวคิดก่อนที่จะดำเนินการเรนเดอร์เต็มขั้นตอนที่ช้ากว่าและมีความแม่นยำสูงกว่า
รูปแบบการดำเนินงาน
DDPM และ DDIM Sampler ในทางปฏิบัติ
การสร้างภาพการแพร่กระจายที่เสถียร โดยที่ DDIM ถูกนำเสนอเป็นตัวอย่างเริ่มต้นที่รวดเร็วสำหรับการแจ้งข้อความเป็นภาพในเครื่องมือ เช่น Automatic1111 และ ComfyUI
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
DDPM และ DDIM Sampler ในทางปฏิบัติ
ไปป์ไลน์ศิลปะที่ทำซ้ำได้ซึ่งแก้ไขเมล็ดสุ่มด้วย DDIM ที่กำหนด ดังนั้นพรอมต์และเมล็ดเดียวกันจะสร้างภาพที่เหมือนกันเสมอ
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
DDPM และ DDIM Sampler ในทางปฏิบัติ
การประมาณค่าพื้นที่แฝงระหว่างสองภาพอย่างราบรื่นสำหรับการปรับเปลี่ยนภาพเคลื่อนไหว เกิดขึ้นได้โดยการแมปที่กำหนดขึ้นของ DDIM จากสัญญาณรบกวนไปยังเอาต์พุต
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
DDPM และ DDIM Sampler ในทางปฏิบัติ
การทำซ้ำครีเอทีฟโฆษณาอย่างรวดเร็วโดยนักออกแบบใช้การแสดงตัวอย่าง DDIM 20 ขั้นตอนเพื่อสำรวจแนวคิดก่อนที่จะดำเนินการเรนเดอร์เต็มขั้นตอนที่ช้ากว่าและมีความแม่นยำสูงกว่า
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
สำรวจต่อไป
Check your understanding
Test yourself: take the DDPM and DDIM Samplers quiz