Samonadzorowane uczenie się
Uczenie się samonadzorowane szkoli modele na nieoznaczonych danych, wymyślając zadanie, którego odpowiedź jest ukryta w samych danych.
Przegląd
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Głębokie nurkowanie
Ręczne etykietowanie danych jest powolne i kosztowne, a mimo to świat jest pełen nieoznakowanych tekstów, obrazów, plików audio i wideo. Samonadzorowane uczenie się odblokowuje tę możliwość poprzez tworzenie „zadań pretekstowych”, w przypadku których dane dostarczają własnej odpowiedzi. Klasycznym przykładem jest modelowanie języka maskowanego stosowane przez BERT: ukryj niektóre słowa w zdaniu i wytrenuj model, aby przewidywał je na podstawie kontekstu. Modele w stylu GPT przewidują następne słowo. W wizji metody kontrastowe, takie jak SimCLR, pokazują modelowi dwa powiększone wycinki tego samego obrazu i uczą go, że pasują do siebie, jednocześnie odsuwając od siebie różne obrazy. Rozwiązanie tych samodzielnie ułożonych łamigłówek zmusza model do zbudowania bogatych wewnętrznych reprezentacji znaczenia i struktury. Reprezentacje te są następnie z dużą mocą przenoszone na rzeczywiste dalsze zadania z niewielką ilością oznakowanych danych lub bez nich.
Wgląd techniczny
Sztuką jest wygenerowanie sygnału nadzoru za darmo. W modelowaniu maskowanym ukrytym tokenem jest etykieta, więc stratę można obliczyć bez żadnych adnotacji ludzkich. W uczeniu się kontrastowym dwa wzmocnienia jednego obrazu tworzą „parę pozytywną”, która powinna znajdować się blisko siebie w osadzającej przestrzeni, podczas gdy inne obrazy są odepchniętymi „negatywami”. Tak czy inaczej, model jest optymalizowany na etykietach pochodzących wyłącznie z własnej struktury danych, ucząc się ogólnych funkcji, które później wymagają jedynie niewielkiego dostrojenia.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość uczenia się samonadzorowanego
Samonadzorowane uczenie się jest siłą napędową dzisiejszych podstawowych modeli, a rola ta będzie tylko rosnąć. Wyraźną tendencją jest multimodalne szkolenie wstępne, w ramach którego pojedynczy model uczy się wspólnie na podstawie tekstu, obrazów, dźwięku i wideo, korzystając z samodzielnie nadzorowanych celów. Badacze wychodzą poza metody kontrastowe w kierunku podejść opartych na maskowaniu przewidywań w technikach widzenia i samodestylacji, które nie wymagają negatywnych przykładów. Ponieważ wysokiej jakości oznakowane dane stają się wąskim gardłem, uczenie się użytecznej struktury bezpośrednio z ogromnych, nieoznaczonych strumieni pozostanie główną strategią skalowania sztucznej inteligencji.
Implementacja w świecie rzeczywistym
BERT uczy się języka, przewidując zamaskowane słowa, a następnie dostosowując je do wyszukiwania, nastrojów lub odpowiadania na pytania
SimCLR wstępnie uczy koder obrazu na zdjęciach bez etykiet, aby mógł później klasyfikować za pomocą bardzo małej liczby etykiet
Modele w stylu GPT uczące się pisania poprzez wielokrotne przewidywanie następnego tokena w ogromnych korpusach tekstowych
Modele mowy wstępnie przeszkolone na surowym, nieoznakowanym dźwięku (przewidujące zamaskowane segmenty dźwięku) przed przystosowaniem do transkrypcji
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokument, w którym nauka samonadzoru jest pomocna i gdzie prostsze metody są lepsze.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Nauka nadzorowana
Często zadawane pytania
What is Self-Supervised Learning?
Uczenie się samonadzorowane szkoli modele na nieoznaczonych danych, wymyślając zadanie, którego odpowiedź jest ukryta w samych danych. W ten sposób współczesne modele języka i wizji uczą się z czystego Internetu bez armii ludzkich etykiet.
Co sprawia, że uczenie się jest „samonadzorowane”?
Samonadzorowane uczenie się wymyśla zadanie pretekstowe, w którym odpowiedź jest ukryta w danych, więc nie jest potrzebne etykietowanie przez człowieka.
Dlaczego samonadzorowane uczenie się jest tak cenne w przypadku podstawowych modeli?
Ponieważ sygnał nadzoru pochodzi z samych danych, modele można wstępnie trenować na ogromnych, nieoznakowanych korpusach z Internetu.
Co zwykle dzieje się dalej po samonadzorowanym szkoleniu wstępnym?
Trening wstępny buduje ogólne reprezentacje, które dobrze się przekazują, dlatego w przypadku konkretnych zadań potrzebne jest jedynie niewielkie dostrojenie oznaczonych danych.
Czym samonadzorowane zadanie modelu w stylu GPT różni się od zadania BERT-a?
Modele w stylu GPT są szkolone do przewidywania następnego tokena w sekwencji, podczas gdy BERT przewiduje tokeny zamaskowane, korzystając zarówno z lewego, jak i prawego kontekstu.