Stable Diffusion
Difusi Stabil adalah model teks-ke-gambar sumber terbuka, dirilis oleh Stability AI pada tahun 2022, yang menghasilkan gambar dengan menghilangkan noise secara bertahap dari titik awal acak.
Ikhtisar
Being open and runnable on consumer GPUs, it sparked a massive community of tools, fine-tunes, and apps.
Menyelam Lebih Dalam
Model difusi belajar membalikkan proses kebisingan. Selama pelatihan, gambar nyata ditambahkan noise acak selangkah demi selangkah hingga menjadi statis; model belajar memprediksi dan mengurangi kebisingan itu. Untuk menghasilkannya, ini dimulai dari noise murni dan menghilangkan noise berulang kali hingga gambar yang koheren muncul, dipandu oleh perintah teks Anda. Trik efisiensi utama Difusi Stabil adalah bagian 'laten': alih-alih bekerja pada piksel resolusi penuh, ia memampatkan gambar ke dalam ruang laten yang lebih kecil menggunakan autoencoder variasional, menjalankan denoising lambat di sana, lalu mendekode kembali ke piksel. Inilah sebabnya mengapa ini dapat berjalan pada GPU gaming biasa, bukan pada pusat data. Encoder teks (CLIP di versi awal) mengubah perintah Anda menjadi panduan, dan U-Net melakukan denoising. Bobot terbukanya memungkinkan ControlNet, penyempurnaan LoRA, dan alat kreatif yang tak terhitung jumlahnya.
Wawasan Teknis
Difusi Stabil adalah model difusi laten. Autoencoder mengecilkan gambar berukuran 512x512 menjadi grid laten yang ringkas, sehingga memotong komputasi secara signifikan. U-Net dilatih untuk memprediksi kebisingan yang ditambahkan pada setiap langkah waktu, dikondisikan pada teks yang disematkan melalui perhatian silang. Panduan bebas pengklasifikasi memungkinkan Anda mengetahui seberapa kuat gambar mengikuti perintah dengan menggabungkan prediksi terkondisi dan tidak terkondisi. Pada inferensi, sampler (seperti DDIM atau Euler) mengambil sejumlah langkah denoising yang dipilih; lebih banyak langkah umumnya berarti hasil yang lebih bersih dengan mengorbankan kecepatan.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Masa Depan Difusi Stabil
Ekosistem terbuka terus mengalami percepatan: arsitektur yang lebih baru (termasuk difusi berbasis transformator dan pengambilan sampel beberapa langkah atau sampel suling yang lebih cepat) memangkas pembangkitan dari puluhan langkah menjadi satu atau dua, sehingga memungkinkan pembuatan yang hampir real-time. Harapkan rendering teks yang lebih kuat, kepatuhan cepat yang lebih baik, dan pengeditan gambar yang lancar, ditambah ekstensi video dan 3D. Bobot terbuka akan terus mendorong penyempurnaan khusus, namun juga meningkatkan perdebatan mengenai persetujuan data pelatihan, deepfake, dan watermarking, sehingga alat pendeteksi dan sumber asal akan berkembang seiring dengan model.
Implementasi Dunia Nyata
Seniman dan penghobi menghasilkan seni konsep dan ilustrasi secara lokal di GPU mereka sendiri dengan penyesuaian LoRA khusus
Menggunakan ControlNet untuk membatasi generasi dengan kerangka pose, peta kedalaman, atau sketsa tepi untuk komposisi yang presisi
Inpainting dan outpainting untuk mengedit foto, menghapus objek, atau memperluas pemandangan melampaui batas aslinya
Studio dan desainer game indie memproduksi tekstur, papan suasana hati, dan variasi aset dengan cepat dan murah
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stable Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Difusi Video Stabil
Pertanyaan yang sering diajukan
What is Stable Diffusion?
Difusi Stabil adalah model teks-ke-gambar sumber terbuka, dirilis oleh Stability AI pada tahun 2022, yang menghasilkan gambar dengan menghilangkan noise secara bertahap dari titik awal acak. Karena terbuka dan dapat dijalankan pada GPU konsumen, hal ini memicu komunitas alat, penyempurnaan, dan aplikasi dalam jumlah besar.
Pada tingkat tinggi, bagaimana model difusi menghasilkan gambar?
Model difusi belajar membalikkan proses derau: mulai dari derau, model tersebut secara berulang menghilangkan derau hingga muncul gambar yang koheren.
Apa yang membuat Difusi Stabil cukup efisien untuk dijalankan pada GPU konsumen?
Difusi Stabil adalah model difusi laten: autoencoder mengompresi gambar sehingga denoising berat berjalan dalam ruang laten yang lebih kecil.
Bagaimana pengaruh teks Anda terhadap gambar yang dihasilkan?
Pembuat enkode teks mengubah perintah menjadi penyematan yang mengkondisikan U-Net melalui perhatian silang, sehingga mengarahkan hasilnya.
Panduan bebas pengklasifikasi apa yang dapat Anda kendalikan?
Panduan bebas pengklasifikasi memadukan prediksi terkondisi dan tidak terkondisi, memungkinkan Anda menaikkan atau menurunkan kepatuhan cepat.
Mengapa Difusi Stabil memicu ekosistem alat yang begitu besar seperti ControlNet dan LoRA?
Bobot terbuka memungkinkan komunitas menyempurnakan dan memperluas model, menghasilkan add-on seperti ControlNet dan adaptor LoRA yang ringan.