Aşırı Uyum ve Yetersiz Uyum
Aşırı uyum, bir modelin eğitim verilerini ezberlemesi ve yeni örneklerde başarısız olması; Yetersiz uyum, gerçek modeli yakalamanın çok basit olduğu zamandır.
Genel Bakış
Hitting the sweet spot between them is the central challenge of machine learning.
Derin Dalış
Her model sınırlı bir eğitim setine uygundur ancak amaç, görünmeyen veriler üzerinde iyi performans göstermektir. Aşırı uyum modeli, eğitim setindeki gürültüyü ve tuhaflıkları gerçek sinyallermiş gibi ele alır: eğitim verilerinde %99 puan alabilir, ancak test setinde %70'e düşebilir. Yetersiz uyum modeli ise bunun tam tersi bir sorundur; altta yatan yapıyı yakalayamayacak kadar katı olduğundan hem eğitim hem de test verileri açısından zayıf performans gösterir. Eğitim ve test performansı arasındaki fark, bunun göstergesidir. Yetersiz uyum her yerde yüksek hata olarak gösterilir (yüksek önyargı); Aşırı uyum, düşük eğitim hatası, ancak yüksek test hatası (yüksek varyans) olarak gösterilir. Beceri, hangi soruna sahip olduğunuzun farkına varmaktır çünkü düzeltmeler zıt yönlere çeker.
Teknik Bilgi
Aşırı uyum ve yetersiz uyum, önyargı varyansı değişiminin iki ucudur. Önyargı, aşırı basitleştirilmiş varsayımlardan kaynaklanan hatadır; varyans, belirli eğitim örneğine aşırı duyarlı olmaktan kaynaklanan hatadır. Küçük bir doğrusal model, yüksek yanlılığa ve düşük varyansa (yetersiz uyum) sahiptir; büyük, kısıtlanmamış bir model, düşük yanlılığa ve yüksek varyansa (fazla uyum) sahiptir. Toplam beklenen hata kabaca önyargı karesi artı varyans artı indirgenemez gürültü olarak ayrışır. Uygulayıcılar, eğitim seti doğruluğunu, uzatılmış bir doğrulama seti ile karşılaştırarak ve iki eğrinin nerede birbirinden ayrıldığını izleyerek sorunu tespit ederler.
Stratejik Etki
Daha net kararlar
Açık teknik iddiaları pazarlama dilinden ayırmanıza yardımcı olur.
Maliyet ve bütçe
Para veya zaman harcamadan önce daha iyi uygulama soruları sorabilirsiniz.
Ekip ve iş akışı
Ortak anlayışa sahip ekipler daha iyi ürün, politika ve öğrenme kararları verir.
Aşırı Uyum ve Yetersiz Uyumun Geleceği
Bu kavramlar temel olmaya devam ediyor ancak çok büyük sinir ağları klasik tabloyu karmaşık hale getiriyor. Modern modeller, veri noktalarından çok daha fazla parametreye sahip olabilir, ancak yine de iyi bir şekilde genelleme yapabilir; bu, bazen 'çift iniş' olarak adlandırılan ve aşırı uyum zirvesinden sonra test hatasının tekrar düştüğü şaşırtıcı bir rejimdir. Araştırmalar, aşırı parametreli modellerin neden genelleştiğine, optimize edicilerde örtülü düzenlemenin rolüne ve dağıtım değişiminin daha iyi otomatik olarak algılanmasına giderek daha fazla odaklanıyor. Gerçek dünya verileri eğitim verilerinden uzaklaşırken, üretimdeki aşırı uyumu işaretleyen daha zengin teşhisler bekleyebilirsiniz.
Gerçek Dünya Uygulaması
Belirli bir gönderenin adını içeren her e-postayı işaretleyen bir spam filtresi, çünkü gönderen, eğitim verilerinde yoğun bir şekilde spam göndermiş ve yeni spam gönderenleri tamamen kaçırmıştır (fazla uyum).
Yalnızca metrekareyi kullanan ve konumu, yatak odalarını ve durumu göz ardı eden bir ev fiyatı modeli, bu nedenle pahalı mahallelerde fena halde ıskalıyor (yetersiz uyum).
Hastalık yerine hastanenin tarayıcı filigranını tespit etmeyi öğrenen ve diğer hastanelerde başarısız olan (sahte bir özelliğe aşırı uyum sağlayan) bir tıbbi görüntü sınıflandırıcı.
Eğitim sırasında eğitim kaybı ile doğrulama kaybının grafiğini çizme ve eğitim kaybı düşmeye devam ederken doğrulama kaybı artmaya başladığında durma (aşırı uyumu erken yakalama).
Riskler ve Korkuluklar
Farklı ekipler aynı terimi farklı şekilde kullanabilir; bu nedenle kapsamı erken tanımlayın.
Gerçek dünya performansı dengesizken karşılaştırmalar güçlü görünebilir.
Veri kalitesini ve değerlendirme planlarını göz ardı etmek çoğu zaman hassas sonuçlar doğurur.
Uygulama Yol Haritası
İhtiyacınız olan sonucun sade bir dille tanımlanmasıyla başlayın.
Test etmeden önce bir başarı ölçüsü ve bir başarısızlık koşulu seçin.
Gösterişli bir demo seti yerine, temsili verilerle küçük bir pilot çalışma yürütün.
Aşırı Uyum ve Yetersiz Uyum'un nerede yardımcı olduğunu ve daha basit yöntemlerin nerede daha iyi olduğunu belgeleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Geri yayılım
Sık sorulan sorular
What is Overfitting and Underfitting?
Aşırı uyum, bir modelin eğitim verilerini ezberlemesi ve yeni örneklerde başarısız olması; Yetersiz uyum, gerçek modeli yakalamanın çok basit olduğu zamandır. Aralarındaki hassas noktayı yakalamak, makine öğreniminin temel zorluğudur.
Bir model, eğitim verilerinde %98 puan alırken, uzun süreli test setinde yalnızca %71 puan alır. En olası sorun nedir?
Eğitim doğruluğunun yüksek, ancak test doğruluğunun çok daha düşük olduğu büyük bir boşluk, aşırı uyumun klasik imzasıdır: model, genel modelden ziyade eğitim verilerindeki gürültüye uyum sağlar.
Hangi senaryo yetersiz uyumu en iyi şekilde tanımlar?
Yetersiz uyum modeli, temel modeli yakalamak için çok basittir, bu nedenle üzerinde eğitim aldığı veriler de dahil olmak üzere her yerde düşük performans gösterir.
Önyargı-varyans değiş tokuşunda, yüksek varyans en çok hangi sonuçla ilişkilidir?
Yüksek varyans, modelin gördüğü tam eğitim verilerine bağlı olarak çok fazla değiştiği anlamına gelir ve bu da aşırı uyuma yol açar. Yüksek önyargı, tam tersi, aşırı basitleştirilmiş sondur.
Kredi temerrüdü modeli yalnızca başvuru sahibinin yaşını kullanır ve geliri, borcu ve kredi geçmişini göz ardı eder. Hem eğitimde hem de yeni verilerde kötü performans gösteriyor. Ne yapmalısın?
Her yerde düşük performans, yetersiz uyumun sinyalidir. Çözüm, gerçek ilişkiyi temsil edebilmesi için genellikle bilgilendirici özellikler ekleyerek model kapasitesini artırmaktır.
Aşırı uyumu tespit etmek için neden uzatılmış bir doğrulama veya test seti gereklidir?
Yalnızca eğitim doğruluğuna bakarsanız aşırı uyum görünmez. Görünmeyen veriler üzerinden değerlendirme yapmak, ezberleme ile gerçek genelleme arasındaki boşluğu ortaya çıkarır.