Görsel Yapay Zeka KILAVUZU

Stable Diffusion

Stable Diffusion, 2022'de Stability AI tarafından piyasaya sürülen ve rastgele bir başlangıç ​​noktasındaki gürültüyü kademeli olarak ortadan kaldırarak resimler üreten, açık kaynaklı bir metinden resme modelidir.

2 min readSon güncelleme

Genel Bakış

Being open and runnable on consumer GPUs, it sparked a massive community of tools, fine-tunes, and apps.

Derin Dalış

Difüzyon modelleri gürültü yaratan bir süreci tersine çevirmeyi öğrenir. Eğitim sırasında, gerçek görüntülere, statik hale gelene kadar adım adım rastgele gürültü eklenir; model bu gürültüyü tahmin etmeyi ve çıkarmayı öğrenir. Oluşturmak için saf gürültüden başlar ve metin isteminiz tarafından yönlendirilen tutarlı bir görüntü görünene kadar tekrar tekrar gürültüyü giderir. Stable Diffusion'ın en önemli verimlilik numarası "gizli" kısımdır: tam çözünürlüklü pikseller üzerinde çalışmak yerine, varyasyonel bir otomatik kodlayıcı kullanarak görüntüleri daha küçük bir gizli alana sıkıştırır, yavaş gürültü giderme işlemini orada çalıştırır ve ardından kodu tekrar piksellere çözer. Bu nedenle veri merkezi yerine tipik bir oyun GPU'sunda çalışabilir. Bir metin kodlayıcı (önceki sürümlerde CLIP) isteminizi rehberliğe dönüştürür ve bir U-Net gürültü giderme işlemini gerçekleştirir. Açık ağırlıkları ControlNet'e, LoRA ince ayarlarına ve sayısız yaratıcı araca olanak sağladı.

Teknik Bilgi

Kararlı Difüzyon gizli bir difüzyon modelidir. Otomatik kodlayıcı, 512x512 görüntüyü kompakt, gizli bir ızgaraya küçülterek hesaplamayı önemli ölçüde azaltır. Bir U-Net, çapraz dikkat yoluyla metnin yerleştirilmesine bağlı olarak her zaman adımında eklenen gürültüyü tahmin etmek üzere eğitilir. Sınıflandırıcısız rehberlik, koşullu ve koşulsuz tahminleri karıştırarak görüntünün istemi ne kadar güçlü bir şekilde takip ettiğini belirlemenize olanak tanır. Çıkarımda, bir örnekleyici (DDIM veya Euler gibi) seçilen sayıda gürültü giderme adımını gerçekleştirir; daha fazla adım genellikle hız pahasına daha temiz sonuçlar anlamına gelir.

Stratejik Etki

Speed and scale

Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.

Build choices

Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.

Ekip ve iş akışı

Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.

Kararlı Difüzyonun Geleceği

Açık ekosistem hızlanmaya devam ediyor: daha yeni mimariler (transformatör bazlı difüzyon ve daha hızlı birkaç adımlı veya damıtılmış örnekleyiciler dahil), üretimi düzinelerce adımdan bir veya iki adıma indirerek neredeyse gerçek zamanlı oluşturmayı mümkün kılıyor. Daha güçlü metin oluşturma, daha iyi uyum ve kusursuz görüntü düzenlemenin yanı sıra video ve 3D uzantıları bekleyebilirsiniz. Açık ağırlıklar, özel ince ayarları körüklemeye devam edecek, ancak aynı zamanda eğitim verileri onayı, derin sahtekarlıklar ve filigranlama konusundaki tartışmaları da yoğunlaştıracak, böylece tespit ve kaynak araçları da modellerle birlikte büyüyecek.

Gerçek Dünya Uygulaması

Özel LoRA ince ayarlarıyla kendi GPU'larında yerel olarak konsept sanat eserleri ve illüstrasyonlar oluşturan sanatçılar ve amatörler

Hassas kompozisyon için bir nesli poz iskeleti, derinlik haritası veya kenar taslağıyla sınırlamak için ControlNet'i kullanma

Fotoğrafları düzenlemek, nesneleri kaldırmak veya bir sahneyi orijinal sınırlarının ötesine genişletmek için iç boyama ve dış boyama

Dokular, duygu panoları ve varlık çeşitlemelerini hızlı ve ucuz bir şekilde üreten bağımsız oyun stüdyoları ve tasarımcıları

Riskler ve Korkuluklar

Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.

Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.

Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.

Uygulama Yol Haritası

1

Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.

2

Gerçek üretim koşullarıyla eşleşen verilerle test edin.

3

Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.

4

Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.

Keşfetmeye Devam Edin

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Stable Diffusion quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Testi başlat

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Next guide

Kararlı Video Dağıtımı

Sık sorulan sorular

What is Stable Diffusion?

Stable Diffusion, 2022'de Stability AI tarafından piyasaya sürülen ve rastgele bir başlangıç noktasındaki gürültüyü kademeli olarak ortadan kaldırarak resimler üreten, açık kaynaklı bir metinden resme modelidir. Tüketici GPU'larında açık ve çalıştırılabilir olması, çok sayıda araç, ince ayar ve uygulama topluluğunu ateşledi.

Yüksek düzeyde bir yayılma modeli nasıl bir görüntü oluşturur?

Difüzyon modelleri, gürültü oluşturma sürecini tersine çevirmeyi öğrenir: Gürültüden başlayarak, tutarlı bir görüntü ortaya çıkana kadar yinelemeli olarak gürültüyü giderirler.

Kararlı Difüzyonu tüketici GPU'sunda çalışacak kadar verimli kılan nedir?

Kararlı Difüzyon, gizli bir yayılma modelidir: bir otomatik kodlayıcı, ağır gürültü gidermenin daha küçük bir gizli alanda çalışması için görüntüleri sıkıştırır.

Metin isteminiz oluşturulan görüntüyü nasıl etkiliyor?

Bir metin kodlayıcı, uyarıyı U-Net'i çapraz dikkat yoluyla şartlandıran ve sonucu yönlendiren yerleştirmelere dönüştürür.

Sınıflandırıcısız rehberlik neyi kontrol etmenize olanak sağlar?

Sınıflandırıcı içermeyen rehberlik, koşullu ve koşulsuz tahminleri birleştirerek, uyumu anında artırmanıza veya azaltmanıza olanak tanır.

Stable Diffusion neden ControlNet ve LoRA gibi bu kadar geniş bir araç ekosistemini harekete geçirdi?

Açık ağırlıklar, topluluğun modele ince ayar yapmasına ve modeli genişletmesine olanak tanıyarak ControlNet ve hafif LoRA adaptörleri gibi eklentiler üretmesini sağlar.