แบบจำลองความสม่ำเสมอแฝง
Latent Consistency Models (LCM) เป็นเทคนิคที่ช่วยให้เครื่องกำเนิดภาพแบบแพร่สามารถผลิตภาพคุณภาพสูงได้ในเวลาเพียงหนึ่งถึงสี่ขั้นตอน แทนที่จะเป็นหลายสิบภาพตามปกติ
ภาพรวม
They make near-real-time, interactive image generation practical even on modest hardware.
เจาะลึก
โมเดลการแพร่กระจายแฝงมาตรฐาน เช่น Stable Diffusion เริ่มต้นจากสัญญาณรบกวนและการลดเสียงรบกวนซ้ำๆ ซึ่งมักต้องมีการประเมินเครือข่าย 20 ถึง 50 ครั้งเพื่อสร้างภาพเดียวซึ่งช้า LCM เปิดตัวโดย Luo และเพื่อนร่วมงานในปี 2023 ใช้การกลั่นที่สม่ำเสมอในพื้นที่แฝงของแบบจำลองการแพร่กระจายที่ได้รับการฝึกล่วงหน้า แนวคิดหลัก: ฝึกเครือข่ายนักเรียนให้ข้ามไปยังผลลัพธ์ที่สะอาดโดยตรงจากจุดใดก็ได้ในวิถีการลดสัญญาณรบกวน ดังนั้นจึงได้คำตอบเดียวกันในขั้นตอนใหญ่ขั้นตอนเดียวซึ่งก่อนหน้านี้ต้องใช้ขั้นตอนเล็กๆ มากมาย ผลลัพธ์ที่ได้คือภาพที่คมชัดในประมาณ 1 ถึง 4 ขั้นตอน เทคนิคคู่หูอย่าง LCM-LoRA บรรจุการเร่งความเร็วนี้เป็นอะแดปเตอร์ปลั๊กอินขนาดเล็กที่สามารถวางลงบนโมเดล Stable Diffusion ที่ปรับแต่งอย่างละเอียดที่มีอยู่แล้ว โดยไม่ต้องฝึกอบรมเครือข่ายทั้งหมดใหม่
ข้อมูลเชิงลึกทางเทคนิค
แบบจำลองความสอดคล้องบังคับใช้คุณสมบัติ 'ความสอดคล้องในตัวเอง': สองจุดใด ๆ บนเส้นทางการลดสัญญาณรบกวนเดียวกัน (วิถีวิถี ODE ของความน่าจะเป็น) จะต้องแมปกับภาพที่สะอาดขั้นสุดท้ายเดียวกัน นักเรียนถูกกลั่นกรองจากแบบจำลองการแพร่กระจายของครูเพื่อตอบสนองสิ่งนี้ โดยเรียนรู้ที่จะทำนายจุดสิ้นสุดของวิถีโดยตรง การทำงานในพื้นที่แฝงที่ถูกบีบอัดแทนที่จะเป็นพิกเซลทำให้การกลั่นมีราคาถูก เนื่องจากการประเมินหนึ่งครั้งสามารถกระโดดข้ามวิถีได้ การสุ่มตัวอย่างแบบวนซ้ำอย่างหนักจึงยุบลงในไม่กี่ขั้นตอน
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของแบบจำลองความสม่ำเสมอแฝง
ขณะนี้การผลิตเพียงไม่กี่ขั้นตอนกลายเป็นกระแสหลัก โดยผู้สืบทอดเช่น SDXL-Turbo, การปรับแต่ง LCM และวิธีการกลั่นแบบตรงข้ามที่ผลักดันคุณภาพในหนึ่งถึงสองขั้นตอน คาดหวังว่าสิ่งนี้จะเพิ่มประสิทธิภาพให้กับการแก้ไขภาพแบบสดๆ ที่ใช้แปรงปัดขณะใช้งาน การสร้างเฟรมวิดีโอแบบเรียลไทม์ และการสร้างบนอุปกรณ์บนโทรศัพท์ พรมแดนกำลังปิดช่องว่างด้านคุณภาพเล็กๆ ด้วยการแพร่กระจายหลายขั้นตอนเต็มรูปแบบ และขยายการกลั่นที่สม่ำเสมอไปยังวิดีโอและ 3D ซึ่งการประหยัดจากการนับขั้นตอนการตัดจะยิ่งน่าทึ่งยิ่งขึ้น
การใช้งานจริงในโลกแห่งความเป็นจริง
เครื่องมือแคนวาสแบบเรียลไทม์ที่อัปเดตรูปภาพที่สร้างขึ้นขณะที่คุณพิมพ์หรือร่างภาพ โดยมีความล่าช้าเกือบเป็นศูนย์
เรียกใช้การสร้างภาพ Stable Diffusion บนแล็ปท็อปหรือ GPU ของโทรศัพท์ภายในเสี้ยววินาที
วางอะแดปเตอร์ LCM-LoRA ลงบนโมเดลที่ได้รับการปรับแต่งอย่างละเอียดที่มีอยู่เพื่อเพิ่มความเร็วในทันทีโดยไม่ต้องฝึกอบรมใหม่
การสร้างภาพจำนวนมากในราคาถูกสำหรับการสำรวจการออกแบบโดยการตัดขั้นตอนจาก ~30 เหลือ ~4
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Latent Consistency Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
แบบจำลองการแพร่กระจายแฝง
คำถามที่พบบ่อย
What is Latent Consistency Models?
Latent Consistency Models (LCM) เป็นเทคนิคที่ช่วยให้เครื่องกำเนิดภาพแบบแพร่สามารถผลิตภาพคุณภาพสูงได้ในเวลาเพียงหนึ่งถึงสี่ขั้นตอน แทนที่จะเป็นหลายสิบภาพตามปกติ ช่วยให้การสร้างภาพเชิงโต้ตอบแบบเกือบจะเรียลไทม์ใช้งานได้จริงแม้ใช้ฮาร์ดแวร์เพียงเล็กน้อย
ข้อได้เปรียบหลักของแบบจำลองความสม่ำเสมอแฝงเหนือการแพร่กระจายแฝงมาตรฐานคืออะไร
LCM ยุบขั้นตอนการลดสัญญาณรบกวนหลายๆ ขั้นตอนของการแพร่กระจายแบบมาตรฐานให้เหลือประมาณ 1 ถึง 4 ขั้นตอน ทำให้สามารถสร้างเจนเนอเรชั่นที่เกือบจะเรียลไทม์ได้
โมเดลความสอดคล้องบังคับใช้คุณสมบัติ 'ความสอดคล้องในตัวเอง' อะไร
ความสม่ำเสมอหมายถึงจุดต่างๆ ตามวิถี ODE ของความน่าจะเป็นที่ไหลเหมือนกัน ทั้งหมดจะแมปไปยังเอาต์พุตที่สะอาดขั้นสุดท้ายเดียวกัน
LCM ทำการกลั่นในพื้นที่ใด
การทำงานในพื้นที่แฝง เช่นเดียวกับการกระจายที่เสถียร ทำให้การกลั่นสม่ำเสมอมีประสิทธิภาพ
LCM-LoRA ช่วยให้คุณทำอะไรได้บ้าง
LCM-LoRA บรรจุแพ็คเกจการเร่งความเร็วเป็นอะแดปเตอร์น้ำหนักเบาซึ่งจะวางลงบนโมเดล Stable Diffusion ที่ปรับแต่งมาอย่างดีที่มีอยู่แล้ว
โมเดลความสอดคล้องบรรลุการสร้างไม่กี่ขั้นตอนได้อย่างไร
เครือข่ายนักเรียนถูกกลั่นกรองเพื่อทำนายจุดสิ้นสุดของวิถีการลดนอยส์ด้วยการก้าวกระโดดเพียงครั้งเดียว แทนที่จะใช้ขั้นตอนเล็กๆ มากมาย