Yapay Zeka Görüntü Oluşturucuları Neden Yanlış Anlıyor?

Yayılma modelleri, eklenen gürültüyü tersine çevirmeyi öğrenerek milyarlarca görüntü-altyazı çiftinden bilgi alır. Yerel görsel kalıplarda çok iyi hale gelirler: cilt dokusu, ışıklandırma, elin genel görünümü. Asla almadıkları şey, bir elin beş parmağının avuç içine belirli bir sırayla birleştiğine dair açık bir kuraldır. Çeşitli faktörler elleri zorlaştırır. Eller çoğu fotoğrafın küçük bir kısmını kaplar, dolayısıyla birkaç piksel elde ederler. Stable Diffusion gibi gizli difüzyon modelleri, görüntüleri oluşturmadan önce her boyutta sekiz kat küçültüyor ve bu da geriye yalnızca bir avuç gizli hücre bırakabiliyor. Eller çok çeşitli pozlar alır, nesneleri tutar, üst üste gelir ve çoğu zaman kısmen gizlenir, dolayısıyla eğitim verileri eksik görünümlerle doludur. Parmaklar birbirine benzediğinden 'parmak, parmak, parmak' üreten bir modelin ne zaman durması gerektiğini söyleyen güçlü bir sinyali yoktur. Altyazılarda bırakın pozlarını, ellerden neredeyse hiç bahsedilmiyor, bu nedenle bilgi istemi çok az rehberlik sağlıyor. Sonuç, bir dizi tanıdık hatadır: Fazla veya eksik parmaklar, kaynaşmış parmaklar, başparmakların yanlış tarafta olması ve ellerin nesnelere veya diğer insanlara karışması. Dişler, kulaklar ve takılar da benzer nedenlerle bozulur. Daha yeni sistemler bu arızaları azaltmıştır. Daha büyük modeller, daha yüksek eğitim çözünürlükleri, daha iyi filtrelenmiş ve altyazılı veriler, transformatör tabanlı mimariler ve insan tercihi derecelendirmelerinde ince ayar yapılmasının hepsi yardımcı oldu. Midjourney'nin 2023'teki 5. sürümü, daha iyi eller nedeniyle geniş çapta dikkat çekti ve birkaç laboratuvarın sonraki modelleri daha da geliştirildi. Ancak özellikle karmaşık pozlarda, kalabalıklarda ve bir şeyleri tutan ellerde hatalar ortadan kalkmadı. Yaygın bir yanılgı, modelin "sayılamaz" olduğudur. Görünümü istatistiksel olarak öğrendiğini söylemek daha doğru olur ve doğru yapı ancak veri ve model kapasitesi yeterli olduğunda ortaya çıkar.