Model Generatif Berbasis Skor
Model generatif berbasis skor membuat data dengan mempelajari gradien distribusi data — arah yang membuat sampel yang berisik terlihat lebih mirip data nyata.
Ikhtisar
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Menyelam Lebih Dalam
Daripada memodelkan probabilitas secara langsung, model berbasis skor mempelajari skor: gradien kepadatan log-probabilitas sehubungan dengan masukan. Mengetahui cara mendorong sampel untuk meningkatkan kemungkinannya sudah cukup untuk menghasilkan data baru. Karya Yang Song dan Stefano Ermon pada tahun 2019 melatih jaringan untuk memperkirakan skor ini di banyak tingkat kebisingan menggunakan pencocokan skor denoising, kemudian menghasilkan sampel dengan dinamika Langevin — berulang kali menelusuri skor dan menambahkan sedikit kebisingan. Makalah skor-SDE tahun 2021 mereka menunjukkan bahwa model difusi dan berbasis skor adalah dua sisi dari proses berkelanjutan yang sama yang dijelaskan oleh persamaan diferensial stokastik. Yang terpenting, setiap SDE memiliki ODE 'aliran probabilitas' deterministik yang memiliki marjinal yang sama, sehingga memungkinkan kemungkinan yang tepat dan pengambilan sampel yang cepat.
Wawasan Teknis
Memperkirakan skor data bersih secara langsung sulit dilakukan jika datanya jarang, sehingga model dilatih pada data yang terganggu oleh noise Gaussian pada berbagai skala. Pencocokan skor denoising memberikan target yang dapat ditelusuri: skor distribusi noise sama dengan arah kebisingan dibagi dengan varians kebisingan, sehingga memprediksi kebisingan dan memprediksi skor pada dasarnya adalah hal yang sama. Pengambilan sampel menyelesaikan SDE waktu terbalik (atau ODE aliran probabilitas yang setara) yang dimulai dari derau Gaussian murni.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Masa Depan Model Generatif Berbasis Skor
Kerangka kerja score-SDE adalah mesin teoretis di balik sebagian besar kemajuan AI generatif. Pemecah numerik yang lebih cepat, penjadwalan gangguan yang lebih baik, dan ODE aliran probabilitas memungkinkan pembuatan hampir secara real-time dan evaluasi kemungkinan yang tepat. Ide pencocokan skor yang sama juga menyebar melampaui gambar ke dalam audio, desain struktur molekul dan protein, point cloud, dan simulasi ilmiah, sementara model konsistensi dan pencocokan aliran dibangun langsung di atas fondasi waktu berkelanjutan ini untuk memperkecil pembangkitan menjadi beberapa langkah.
Implementasi Dunia Nyata
Jaringan Skor Bersyarat Kebisingan (NCSN) menghasilkan wajah fotorealistik dengan mengikuti gradien skor yang dipelajari melalui dinamika Langevin.
Rekonstruksi citra medis, seperti MRI yang dipercepat, di mana skor yang dipelajari bertindak sebagai awal untuk mengisi data pemindaian yang kurang sampelnya.
Pembuatan struktur molekul dan protein dalam penemuan obat, pemodelan konfigurasi atom 3D dengan difusi berbasis skor.
Sintesis bentuk gelombang audio yang model skornya menolak ucapan atau musik yang bersih, seperti pada vocoder berbasis difusi.
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Model Berbasis Energi
Pertanyaan yang sering diajukan
What is Score-Based Generative Models?
Model generatif berbasis skor membuat data dengan mempelajari gradien distribusi data — arah yang membuat sampel yang berisik terlihat lebih mirip data nyata. Tampilan fungsi skor ini menyatukan model difusi dengan persamaan diferensial stokastik dan mendasari banyak generator gambar modern.
Berapa sebenarnya 'skor' yang dipelajari model-model ini?
Skornya adalah gradien kepadatan data log sehubungan dengan masukan — skor tersebut menunjuk ke arah yang meningkatkan kemungkinan sampel.
Mengapa model berbasis skor dilatih pada data yang dirusak oleh gangguan pada berbagai skala?
Di wilayah dengan kepadatan rendah, skor sebenarnya tidak didefinisikan dengan baik; data yang mengganggu dengan beberapa tingkat kebisingan membuat pencocokan skor dapat dilakukan di mana saja.
Prosedur pengambilan sampel manakah yang digunakan model berbasis skor awal untuk menghasilkan data?
Dinamika Langevin berulang kali menggerakkan sampel ke arah skor dan memasukkan derau kecil, secara bertahap mengubah derau acak menjadi data realistis.
Apa hubungan utama yang dibangun oleh makalah skor-SDE tahun 2021?
Lagu dkk. difusi terpadu dan model berbasis skor di bawah kerangka persamaan diferensial stokastik, dengan ODE aliran probabilitas deterministik yang cocok.
Bagaimana hubungan prediksi kebisingan dengan prediksi skor dalam pencocokan skor denoising?
Pencocokan skor denoising menunjukkan skor sama dengan noise negatif dibagi dengan varians noise, menjadikan prediksi noise dan prediksi skor secara efektif memiliki tujuan yang sama.