โมเดลกำเนิดตามคะแนน
โมเดลกำเนิดตามคะแนนจะสร้างข้อมูลโดยการเรียนรู้การไล่ระดับสีของการกระจายข้อมูล ซึ่งเป็นทิศทางที่ทำให้ตัวอย่างที่มีสัญญาณรบกวนดูเหมือนข้อมูลจริงมากขึ้น
ภาพรวม
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
เจาะลึก
แทนที่จะสร้างแบบจำลองความน่าจะเป็นโดยตรง โมเดลตามคะแนนจะเรียนรู้คะแนน: การไล่ระดับสีของความหนาแน่นของบันทึก-ความน่าจะเป็นโดยคำนึงถึงข้อมูลนำเข้า การรู้ว่าวิธีใดที่จะดันตัวอย่างเพื่อเพิ่มความเป็นไปได้ก็เพียงพอที่จะสร้างข้อมูลใหม่ได้ งานของ Yang Song และ Stefano Ermon ในปี 2019 ได้ฝึกเครือข่ายเพื่อประมาณคะแนนนี้ในระดับเสียงต่างๆ โดยใช้การจับคู่คะแนน denoising จากนั้นสร้างตัวอย่างที่มีไดนามิกของ Langevin โดยก้าวไปตามคะแนนซ้ำๆ และเพิ่มสัญญาณรบกวนเล็กน้อย รายงานคะแนน-SDE ปี 2021 ของพวกเขาแสดงให้เห็นว่าแบบจำลองการแพร่กระจายและแบบจำลองตามคะแนนเป็นสองหน้าของกระบวนการต่อเนื่องเดียวกันที่อธิบายโดยสมการเชิงอนุพันธ์สุ่ม สิ่งสำคัญอย่างยิ่งคือ SDE ทุกตัวมี ODE 'กระแสความน่าจะเป็น' เชิงกำหนดที่เกี่ยวข้องกัน ซึ่งใช้ส่วนขอบเดียวกัน ทำให้เกิดความน่าจะเป็นที่แน่นอนและการสุ่มตัวอย่างที่รวดเร็ว
ข้อมูลเชิงลึกทางเทคนิค
การประมาณคะแนนของข้อมูลที่สะอาดโดยตรงเป็นเรื่องยากในกรณีที่ข้อมูลมีน้อย ดังนั้นแบบจำลองจึงได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่รบกวนจากสัญญาณรบกวนแบบเกาส์เซียนในหลายระดับ การจับคู่คะแนน Denoising ให้เป้าหมายที่เข้าใจได้: คะแนนของการกระจายสัญญาณรบกวนเท่ากับทิศทางของสัญญาณรบกวนหารด้วยความแปรปรวนของสัญญาณรบกวน ดังนั้นการทำนายสัญญาณรบกวนและการทำนายคะแนนจึงเป็นสิ่งเดียวกันโดยพื้นฐานแล้ว การสุ่มตัวอย่างจะแก้ SDE ตามเวลาย้อนกลับ (หรือ ODE ของความน่าจะเป็นที่เทียบเท่า) โดยเริ่มจากสัญญาณรบกวนแบบเกาส์เซียนล้วนๆ
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของแบบจำลองการสร้างตามคะแนน
กรอบการทำงาน Score-SDE เป็นเครื่องมือทางทฤษฎีที่อยู่เบื้องหลังความก้าวหน้าส่วนใหญ่ของ Generative AI ตัวแก้ปัญหาเชิงตัวเลขที่เร็วขึ้น ตารางเวลาสัญญาณรบกวนที่ดีขึ้น และ ODE การไหลของความน่าจะเป็น ช่วยให้เกิดการสร้างแบบเรียลไทม์และการประเมินความน่าจะเป็นที่แน่นอนได้ แนวคิดการจับคู่คะแนนแบบเดียวกันกำลังแพร่กระจายไปไกลกว่าภาพไปสู่การออกแบบเสียง การออกแบบโครงสร้างโมเลกุลและโปรตีน พอยต์คลาวด์ และการจำลองทางวิทยาศาสตร์ ในขณะที่โมเดลการจับคู่ที่สม่ำเสมอและไหลลื่นสร้างขึ้นโดยตรงบนรากฐานของเวลาต่อเนื่องเหล่านี้เพื่อลดขนาดการสร้างเหลือเพียงไม่กี่ขั้นตอน
การใช้งานจริงในโลกแห่งความเป็นจริง
เครือข่ายคะแนนแบบมีเงื่อนไขเสียงรบกวน (NCSN) ที่สร้างใบหน้าที่เหมือนจริงโดยการติดตามการไล่ระดับคะแนนที่เรียนรู้ผ่านไดนามิกของ Langevin
การสร้างภาพทางการแพทย์ขึ้นมาใหม่ เช่น MRI แบบเร่ง ซึ่งคะแนนที่เรียนรู้ทำหน้าที่เป็นก่อนที่จะกรอกข้อมูลการสแกนที่สุ่มตัวอย่างน้อย
การสร้างโครงสร้างโมเลกุลและโปรตีนในการค้นคว้ายา การสร้างแบบจำลองโครงสร้างอะตอม 3 มิติพร้อมการแพร่กระจายแบบอิงคะแนน
การสังเคราะห์รูปคลื่นเสียงโดยที่แบบจำลองคะแนนลดเสียงพูดหรือดนตรีที่สะอาดตา เช่นเดียวกับในตัวแปลงเสียงที่ใช้การแพร่กระจาย
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
แบบจำลองที่ใช้พลังงาน
คำถามที่พบบ่อย
What is Score-Based Generative Models?
โมเดลกำเนิดตามคะแนนจะสร้างข้อมูลโดยการเรียนรู้การไล่ระดับสีของการกระจายข้อมูล ซึ่งเป็นทิศทางที่ทำให้ตัวอย่างที่มีสัญญาณรบกวนดูเหมือนข้อมูลจริงมากขึ้น มุมมองฟังก์ชันคะแนนนี้จะรวมโมเดลการแพร่เข้ากับสมการเชิงอนุพันธ์สุ่ม และสนับสนุนโปรแกรมสร้างภาพสมัยใหม่จำนวนมาก
'คะแนน' ที่โมเดลเหล่านี้เรียนรู้คืออะไรกันแน่?
คะแนนคือการไล่ระดับความหนาแน่นของข้อมูลบันทึกเทียบกับอินพุต โดยจะชี้ไปในทิศทางที่เพิ่มความน่าจะเป็นของกลุ่มตัวอย่าง
เหตุใดโมเดลตามคะแนนจึงได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่เสียหายจากสัญญาณรบกวนในหลายระดับ
ในภูมิภาคที่มีความหนาแน่นต่ำ คะแนนจริงมีการกำหนดไว้ไม่ดี ข้อมูลที่รบกวนด้วยระดับเสียงรบกวนหลายระดับทำให้การจับคู่คะแนนทำได้ง่ายทุกที่
ขั้นตอนการสุ่มตัวอย่างแบบใดที่แบบจำลองตามคะแนนในช่วงแรกๆ ใช้เพื่อสร้างข้อมูล
Langevin Dynamics เคลื่อนตัวอย่างซ้ำๆ ไปในทิศทางของคะแนน และฉีดสัญญาณรบกวนเล็กน้อย จากนั้นค่อยๆ เปลี่ยนสัญญาณรบกวนแบบสุ่มให้เป็นข้อมูลที่สมจริง
รายงานคะแนน-SDE ปี 2021 มีความเชื่อมโยงที่สำคัญอะไรบ้าง
เพลงและคณะ แบบจำลองการแพร่กระจายและคะแนนแบบรวมภายใต้กรอบสมการเชิงอนุพันธ์สุ่ม พร้อมด้วย ODE กระแสความน่าจะเป็นเชิงกำหนดที่ตรงกัน
การทำนายสัญญาณรบกวนเกี่ยวข้องกับการทำนายคะแนนในการจับคู่คะแนนแบบ denoising อย่างไร
การจับคู่คะแนน Denoising จะแสดงคะแนนเท่ากับสัญญาณรบกวนเชิงลบหารด้วยความแปรปรวนของสัญญาณรบกวน ทำให้การทำนายสัญญาณรบกวนและการทำนายคะแนนมีจุดประสงค์เดียวกันอย่างมีประสิทธิภาพ