การแพร่กระจายที่เสถียร

Stable Diffusion คือโมเดลการแปลงข้อความเป็นรูปภาพแบบโอเพ่นซอร์ส ซึ่งเปิดตัวโดย Stability AI ในปี 2022 ที่สร้างภาพโดยค่อยๆ ขจัดสัญญาณรบกวนออกจากจุดเริ่มต้นแบบสุ่ม เนื่องจากเปิดกว้างและใช้งานได้บน GPU สำหรับผู้บริโภค จึงจุดประกายชุมชนขนาดใหญ่ที่มีเครื่องมือ การปรับแต่ง และแอปต่างๆ

โมเดลการแพร่กระจายเรียนรู้ที่จะย้อนกลับกระบวนการรบกวน ในระหว่างการฝึก รูปภาพจริงจะมีสัญญาณรบกวนแบบสุ่มเพิ่มทีละขั้นตอนจนกระทั่งกลายเป็นภาพนิ่ง แบบจำลองเรียนรู้ที่จะทำนายและลบสัญญาณรบกวนนั้น ในการสร้างมันเริ่มต้นจากสัญญาณรบกวนบริสุทธิ์และ denoise ซ้ำๆ จนกระทั่งภาพที่สอดคล้องกันปรากฏขึ้น ตามคำแนะนำของข้อความของคุณ เคล็ดลับประสิทธิภาพที่สำคัญของ Stable Diffusion คือส่วนที่ 'แฝง': แทนที่จะทำงานกับพิกเซลเต็มความละเอียด มันจะบีบอัดรูปภาพลงในพื้นที่แฝงที่เล็กลงโดยใช้ตัวเข้ารหัสอัตโนมัติแบบแปรผัน รันการลดสัญญาณรบกวนแบบช้าๆ จากนั้นถอดรหัสกลับเป็นพิกเซล นี่คือเหตุผลว่าทำไมจึงสามารถทำงานบน GPU สำหรับเล่นเกมทั่วไป แทนที่จะเป็นศูนย์ข้อมูล ตัวเข้ารหัสข้อความ (CLIP ในเวอร์ชันแรกๆ) จะแปลงข้อความแจ้งของคุณเป็นคำแนะนำ และ U-Net จะทำหน้าที่ลดสัญญาณรบกวน น้ำหนักแบบเปิดทำให้มี ControlNet, การปรับแต่ง LoRA และเครื่องมือสร้างสรรค์จำนวนนับไม่ถ้วน