Görüş Transformatörleri
Görüntü Transformatörleri (ViT'ler), ChatGPT'ye güç veren transformatör mimarisini görüntülere uygulayarak, resmi bir piksel ızgarası yerine yamalar dizisi olarak ele alır.
Genel Bakış
They proved that you do not need convolutions to achieve state-of-the-art image recognition.
Derin Dalış
Yıllar boyunca, evrişimli sinir ağları (CNN'ler), bir görüntü boyunca küçük filtreleri tarayarak bilgisayar görüşüne hakim oldu. Google'ın 2020 tarihli 'Bir Görüntü 16x16 Kelime Değerindedir' makalesi, bir görüntüyü tipik olarak 16x16 piksellik sabit parçalara bölerek, her birini bir vektör halinde düzleştirerek ve ortaya çıkan diziyi standart bir transformatöre besleyerek buna meydan okudu. Her yama, bir cümledeki kelimeye benzer şekilde bir 'belirteç' haline gelir. Model daha sonra öz-dikkati kullanır, böylece her yama diğer tüm yamalarla doğrudan ilişki kurabilir ve küçük bir evrişimli filtrenin tek adımda göremediği uzun menzilli ilişkileri yakalayabilir. İşin püf noktası: ViT'ler veriye aç çünkü CNN'lerin yerleşik varsayımlarından yoksunlar. JFT-300M gibi muazzam veri kümeleri üzerinde eğitilmiş olan bu ekip, en iyi CNN'lerle eşleşti veya onları yenerek modern görüntü araştırmalarını yeniden şekillendirdi.
Teknik Bilgi
ViT, görüntüyü örtüşmeyen parçalara böler, her birini doğrusal olarak bir yerleştirmeye yansıtır ve konumsal kodlamalar ekleyerek modelin her bir parçanın orijinal görüntüde nerede bulunduğunu bilmesini sağlar. Başına özel, öğrenilebilir bir 'sınıf belirteci' eklenmiştir; nihai temsili sınıflandırmayı yönlendirir. Yığılmış öz-dikkat katmanları, her yamanın diğerlerinden gelen bilgileri tartmasına izin vererek birinci katmandan küresel bir alıcı alan sağlar. Dikkat, yama sayısına göre ikinci dereceden ölçeklendiğinden, yüksek çözünürlüklü görüntüler pahalı hale gelir; bu nedenle yama boyutu ve etkili dikkat çeşitleri önemlidir.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Vizyon Transformatörlerinin Geleceği
ViT'ler ve CNN-transformatör hibritleri artık önde gelen görüntü sistemlerine güç veriyor ve mimari, CLIP ve modern görüntü dili asistanları gibi görüntüleri metinle birleştiren çok modlu modelleri destekliyor. Yüksek çözünürlük ve video için dikkati daha ucuz hale getirmeye yönelik çalışmaların devam etmesini ve ayrıca muazzam etiketli veri iştahını azaltan kendi kendini denetleyen ön eğitimi (maskeli görüntü modelleme gibi) bekliyoruz. Bilgi işlem büyüdükçe 'dil modeli' ile 'görüş modeli' arasındaki çizgi bulanıklaşmaya devam ediyor; transformatörler, ayrı özel tasarımlardan ziyade yöntemler arasında paylaşılan bir omurga görevi görüyor.
Gerçek Dünya Uygulaması
Google'in ViT'den sonra transformatör omurgalarını benimseyen görüntü sınıflandırma ve arama sıralama sistemleri, CNN'lerle rekabet edebildiğini kanıtladı
Fotoğrafların ve altyazıların paylaşılan bir alanda eşleştirilebilmesi için görüntüleri kodlamak için bir ViT kullanan CLIP ve diğer görüntü-metin modelleri
Yalnızca yerel dokular yerine taramanın tamamındaki desenleri tespit etmek için ViT'leri kullanan tıbbi görüntüleme araştırması
Tüm görüş alanı boyunca sahneyi anlamak için ViT tarzı dikkati birleştiren kendi kendine sürüş ve robotik algılama yığınları
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Vision Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
CLIP ve Vizyon-Dil Modelleri
Sık sorulan sorular
What is Vision Transformers?
Görüntü Transformatörleri (ViT'ler), ChatGPT'ye güç veren transformatör mimarisini görüntülere uygulayarak, resmi bir piksel ızgarası yerine yamalar dizisi olarak ele alır. En son teknolojiye sahip görüntü tanımayı elde etmek için evrişimlere ihtiyacınız olmadığını kanıtladılar.
Vision Transformer başlangıçta bir giriş görüntüsünü nasıl işler?
ViT, görüntüyü sabit parçalara (genellikle 16x16 piksel) böler, her parçayı bir simge olarak yerleştirir ve diziyi bir transformatöre besler.
Hangi anahtar mekanizma ViT'nin bir görüntünün uzak kısımlarını birbiriyle ilişkilendirmesini sağlar?
Kişisel dikkat, her yamanın diğer yamalardan gelen bilgileri doğrudan tartmasına olanak tanır ve ilk katmandan küresel bir görünüm sunar.
Düz Vision Transformers'ın başarılı olabilmesi için neden genellikle çok büyük eğitim veri kümelerine ihtiyacı var?
CNN'lerin aksine, ViT'ler yerellik veya çeviri değişmezliğini varsaymaz, dolayısıyla bu kalıpları büyük miktarda veriden öğrenmeleri gerekir.
Vision Transformer'daki konumsal kodlamaların amacı nedir?
Öz-dikkat düzenden bağımsızdır, dolayısıyla konumsal kodlamalar her bir parçanın uzamsal konumunu geri yükler.
Hangi ifade ViT'nin bilgisayar görüşü üzerindeki etkisini en iyi yansıtır?
ViT, yeterli veri ve ölçeğe sahip saf bir transformatörün en iyi evrişimli ağlara rakip olabileceğini veya onları aşabileceğini gösterdi.