Nadmierne i niedostateczne dopasowanie
Nadmierne dopasowanie ma miejsce wtedy, gdy model zapamiętuje dane szkoleniowe i nie radzi sobie z nowymi przykładami; niedopasowanie ma miejsce wtedy, gdy uchwycenie prawdziwego wzorca jest zbyt proste.
Przegląd
Hitting the sweet spot between them is the central challenge of machine learning.
Głębokie nurkowanie
Każdy model można dopasować do skończonego zbioru treningowego, ale celem jest dobre działanie na niewidocznych danych. Model nadmiernego dopasowania traktuje szum i dziwactwa zbioru treningowego tak, jakby były prawdziwym sygnałem: na danych treningowych może osiągnąć 99%, a na zbiorze testowym spaść do 70%. Model niedopasowany jest odwrotnym problemem, jest zbyt sztywny, aby uchwycić leżącą u jego podstaw strukturę, dlatego słabo radzi sobie zarówno z danymi szkoleniowymi, jak i testowymi. Rozbieżność pomiędzy wynikami treningu i testów jest charakterystycznym znakiem. Niedopasowanie wszędzie wskazuje na wysoki poziom błędu (wysokie obciążenie); nadmierne dopasowanie objawia się niskim błędem uczenia, ale wysokim błędem testu (wysoka wariancja). Umiejętność polega na rozpoznaniu, jaki masz problem, ponieważ rozwiązania działają w przeciwnych kierunkach.
Wgląd techniczny
Nadmierne i niedopasowanie to dwa końce kompromisu wariancji odchylenia. Błąd stronniczości to błąd wynikający z nadmiernie uproszczonych założeń; wariancja jest błędem wynikającym ze zbytniej wrażliwości na konkretną próbkę treningową. Mały model liniowy ma duże odchylenie i niską wariancję (niedopasowanie); ogromny model bez ograniczeń ma niskie obciążenie i dużą wariancję (nadmierne dopasowanie). Całkowity błąd oczekiwany rozkłada się z grubsza na kwadrat odchylenia plus wariancję plus nieredukowalny szum. Praktycy wykrywają problem, porównując dokładność zbioru uczącego z ustalonym zbiorem walidacyjnym i obserwując, gdzie obie krzywe się rozchodzą.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość nadmiernego i niedostatecznego dopasowania
Koncepcje te pozostają fundamentalne, ale bardzo duże sieci neuronowe skomplikowały klasyczny obraz. Nowoczesne modele mogą mieć znacznie więcej parametrów niż punktów danych, a mimo to dobrze uogólniać, co jest zaskakującym reżimem nazywanym czasami „podwójnym opadaniem”, w którym błąd testu ponownie spada po osiągnięciu szczytu przeuczenia. Badania w coraz większym stopniu skupiają się na tym, dlaczego modele nadmiernie sparametryzowane powodują uogólnianie, roli ukrytej regularyzacji w optymalizatorach i lepszym zautomatyzowanym wykrywaniu przesunięć rozkładu. Spodziewaj się bogatszej diagnostyki, która sygnalizuje nadmierne dopasowanie w środowisku produkcyjnym, gdy dane ze świata rzeczywistego odbiegają od danych szkoleniowych.
Implementacja w świecie rzeczywistym
Filtr spamu, który oznacza każdą wiadomość e-mail zawierającą nazwę konkretnego nadawcy, ponieważ nadawca ten często spamował w danych szkoleniowych, całkowicie pomijając nowych spamerów (nadmierne dopasowanie).
Model ceny domu wykorzystujący jedynie powierzchnię mieszkalną i ignorujący lokalizację, sypialnie i stan, dlatego bardzo słabo sprawdza się w drogich dzielnicach (niedostateczne wyposażenie).
Klasyfikator obrazu medycznego, który zamiast choroby uczy się wykrywać znak wodny skanera szpitalnego, ale zawodzi w innych szpitalach (nadmierne dopasowanie do fałszywej funkcji).
Wykres straty szkoleniowej w porównaniu ze stratą weryfikacyjną podczas treningu i zatrzymania, gdy strata weryfikacyjna zaczyna rosnąć, podczas gdy strata w treningu stale spada (wczesne wykrycie nadmiernego dopasowania).
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokumentuj, gdzie pomaga nadmierne i niedopasowanie oraz gdzie prostsze metody są lepsze.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Propagacja wsteczna
Często zadawane pytania
What is Overfitting and Underfitting?
Nadmierne dopasowanie ma miejsce wtedy, gdy model zapamiętuje dane szkoleniowe i nie radzi sobie z nowymi przykładami; niedopasowanie ma miejsce wtedy, gdy uchwycenie prawdziwego wzorca jest zbyt proste. Znalezienie idealnego punktu między nimi jest głównym wyzwaniem uczenia maszynowego.
Model uzyskuje wynik 98% na podstawie danych uczących, ale tylko 71% na zbiorze testowym. Jaki jest najbardziej prawdopodobny problem?
Duża luka, w przypadku której dokładność uczenia jest wysoka, ale dokładność testu jest znacznie niższa, jest klasyczną oznaką nadmiernego dopasowania: szum dopasowania modelu w danych uczących, a nie ogólny wzorzec.
Który scenariusz najlepiej opisuje niedopasowanie?
Model niedopasowany jest zbyt prosty, aby uchwycić podstawowy wzorzec, dlatego wszędzie działa słabo, łącznie z danymi, na których został przeszkolony.
W przypadku kompromisu obciążenia systematycznego z jakim wynikiem najbardziej wiąże się wysoka wariancja?
Wysoka wariancja oznacza, że model często się zmienia w zależności od dokładnych danych treningowych, które widzi, co prowadzi do nadmiernego dopasowania. Wysokie nastawienie jest przeciwieństwem, nadmiernie uproszczonym końcem.
Model niespłaconej pożyczki wykorzystuje jedynie wiek wnioskodawcy i ignoruje dochody, zadłużenie i historię kredytową. Działa słabo zarówno w przypadku szkoleń, jak i nowych danych. Co powinieneś zrobić?
Słaba wydajność wszędzie sygnalizuje niedopasowanie. Poprawka polega na zwiększeniu pojemności modelu, często poprzez dodanie funkcji informacyjnych, aby mógł on reprezentować prawdziwy związek.
Dlaczego wstrzymana walidacja lub zestaw testów jest niezbędny do wykrycia nadmiernego dopasowania?
Overfittingu nie widać, jeśli spojrzymy tylko na dokładność treningu. Ocena na podstawie niewidocznych danych ujawnia rozbieżność między zapamiętywaniem a prawdziwym uogólnianiem.