Panduan Bebas Pengklasifikasi
Panduan bebas pengklasifikasi adalah teknik yang membuat model difusi benar-benar mengikuti perintah Anda, menukar beberapa keragaman untuk kepatuhan yang lebih kuat.
Ikhtisar
It is the single dial behind the 'guidance scale' slider in nearly every image generator.
Menyelam Lebih Dalam
Difusi terpandu awal memerlukan pengklasifikasi terpisah untuk mendorong sampel ke kelas yang diinginkan, yang rapuh dan memerlukan pelatihan ekstra. Panduan bebas pengklasifikasi, yang diusulkan oleh Jonathan Ho dan Tim Salimans pada tahun 2022, menghilangkan ketergantungan tersebut. Selama pelatihan, model secara acak menghilangkan pengondisian (perintah teks) beberapa persentase waktu, sehingga model belajar menghasilkan prediksi bersyarat dan tidak bersyarat dengan satu jaringan. Pada waktu pengambilan sampel, Anda menjalankan model dua kali per langkah, sekali dengan perintah dan sekali tanpa perintah, lalu melakukan ekstrapolasi dari prediksi tanpa syarat ke prediksi bersyarat. Jumlah ekstrapolasi adalah skala panduan: nilai yang lebih tinggi memaksa kepatuhan yang lebih cepat dan saturasi yang lebih kuat, sedangkan nilai yang lebih rendah memberikan lebih banyak variasi tetapi pencocokan lebih longgar.
Wawasan Teknis
Secara matematis, prediksi kebisingan terpandu adalah prediksi tanpa syarat ditambah skala panduan dikalikan selisih antara prediksi bersyarat dan tidak bersyarat. Skala 1 berarti tidak ada panduan; nilai umumnya adalah 5 hingga 9. Mendorong skala dengan sangat tinggi akan memperkuat fitur cepat namun menyebabkan saturasi warna yang berlebihan, kontras yang tajam, dan artefak, karena model mengekstrapolasi jauh di luar distribusi yang dipelajari. Biayanya kira-kira dua lintasan ke depan per langkah denoising.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Masa Depan Panduan Bebas Pengklasifikasi
Para peneliti menyempurnakan panduan untuk menjaga kepatuhan yang cepat tanpa adanya kejenuhan yang berlebihan, melalui ambang batas dinamis, jadwal panduan yang mengubah kekuatan di seluruh langkah, dan mengubah skala trik. Model yang disaring kini memasukkan panduan ke dalam satu jalur untuk mengurangi separuh komputasi, dan formulasi yang lebih baru mengeksplorasi perhatian yang terganggu dan panduan otomatis yang tidak memerlukan cabang tanpa syarat sama sekali, yang bertujuan untuk menghasilkan gambar yang tajam dan tepat dengan biaya lebih rendah.
Implementasi Dunia Nyata
Menyesuaikan penggeser 'skala CFG' di Difusi Stabil atau Midjourney untuk menyeimbangkan akurasi cepat dan kreativitas
Meningkatkan panduan untuk memaksa generator menyertakan objek spesifik yang sulit dirender seperti yang dijelaskan dalam perintah
Menurunkan panduan untuk mendapatkan keluaran yang lebih bervariasi dan tidak terlalu jenuh saat menjelajahi banyak opsi desain
Menyesuaikan jadwal panduan dalam jalur produksi untuk mengurangi artefak pembakaran warna pada render dengan detail tinggi
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Classifier-Free Guidance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pengklasifikasi Naive Bayes
Pertanyaan yang sering diajukan
What is Classifier-Free Guidance?
Panduan bebas pengklasifikasi adalah teknik yang membuat model difusi benar-benar mengikuti perintah Anda, menukar beberapa keragaman untuk kepatuhan yang lebih kuat. Ini adalah putaran tunggal di belakang penggeser 'skala panduan' di hampir setiap generator gambar.
Apa tujuan utama dari panduan bebas pengklasifikasi?
Panduan bebas pengklasifikasi meningkatkan kepatuhan cepat dengan melakukan ekstrapolasi dari prediksi tanpa syarat ke prediksi bersyarat.
Bagaimana cara model belajar membuat prediksi tanpa syarat untuk panduan bebas pengklasifikasi?
Selama pelatihan, prompt kadang-kadang dihilangkan secara acak, sehingga satu jaringan mempelajari perilaku bersyarat dan tidak bersyarat.
Apa yang umumnya dilakukan dengan meningkatkan skala panduan?
Panduan yang lebih tinggi memaksa kepatuhan yang lebih ketat dan fitur yang lebih kuat, namun jika diterapkan terlalu jauh akan menyebabkan gambar menjadi terlalu jenuh, kasar, dan rawan artefak.
Kira-kira berapa banyak forward pass per langkah denoising yang diperlukan oleh panduan standar bebas pengklasifikasi?
Model dijalankan sekali dengan prompt dan sekali tanpa prompt, lalu prediksi digabungkan, dengan biaya sekitar dua lintasan per langkah.
Apa keuntungan yang dimiliki panduan bebas pengklasifikasi dibandingkan panduan pengklasifikasi?
Dengan menggunakan satu jaringan untuk kedua prediksi, hal ini menghindari pengklasifikasi tambahan yang rapuh yang diperlukan difusi terpandu lama.