Nauczanie transferowe
Transfer uczenia się ponownie wykorzystuje model już przeszkolony na dużym zbiorze danych i dostosowuje go do nowego, powiązanego zadania.
Przegląd
Instead of starting from scratch, you stand on the shoulders of a model that already learned useful general features, saving enormous time, data, and compute.
Głębokie nurkowanie
Trenowanie silnego modelu od zera często wymaga milionów oznaczonych przykładów i poważnego sprzętu. Nauczanie transferowe omija to. Model wstępnie wyszkolony na ogromnym zbiorze danych, taki jak sieć obrazów wytrenowana w ImageNet lub model językowy przeszkolony na tekście internetowym, nauczył się już szeroko przydatnych wzorców: krawędzi i kształtów dla widzenia, gramatyki i znaczenia tekstu. Bierzesz ten wstępnie wyszkolony model i dostosowujesz jego wiedzę do mniejszego, konkretnego problemu. Istnieją dwa główne style. Podczas ekstrakcji cech zamrażasz większość sieci i trenujesz tylko nową warstwę wyjściową na wierzchu. Dostrajając, odmrażasz także niektóre głębsze warstwy i kontynuujesz ich uczenie przy niskim tempie uczenia się, dzięki czemu model delikatnie dostosowuje się do Twoich danych, nie zapominając o tym, co wiedział.
Wgląd techniczny
Wstępnie wyszkolone sieci uczą się hierarchii: wczesne warstwy przechwytują cechy ogólne (krawędzie, tekstury, podstawowe relacje między słowami), podczas gdy późniejsze warstwy przechwytują koncepcje specyficzne dla zadania. Wykorzystuje to uczenie się transferowe. Jeśli Twoje zadanie jest podobne do oryginału, zamroź wczesne warstwy jako ekstraktor stałych cech i przekwalifikuj tylko głowę. Jeśli Twoje dane różnią się bardziej, dopracuj głębsze warstwy, korzystając z bardzo małej szybkości uczenia się, aby aktualizacje przebiegały delikatnie. Dużym ryzykiem jest zmiana domeny: jeśli nowe dane zbytnio różnią się od danych przedtreningowych, pożyczone funkcje słabo pasują.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość uczenia się transferowego
Uczenie się transferowe stało się domyślnym sposobem budowania sztucznej inteligencji. Dziś prawie nikt nie szkoli od zera dużej wizji czy modelu języka; zamiast tego zespoły dostosowują wstępnie wytrenowany model fundamentu. Granicę stanowią metody efektywne pod względem parametrów, takie jak LoRA i adaptery, które modyfikują tylko niewielki ułamek ciężarów, aby tanio dostosować gigantyczne modele. Należy spodziewać się pogłębienia tej tendencji: mniejsze, wyspecjalizowane modele wyodrębnione i dostrojone z dużych, a także rosnącej uwagi na łagodzenie zmiany domeny i unikanie „katastrofalnego zapominania” w przypadku wielokrotnego dostosowywania modelu.
Implementacja w świecie rzeczywistym
Dostrajanie wstępnie przygotowanej sieci ImageNet w celu wykrywania określonych defektów na fabrycznej linii produkcyjnej przy użyciu zaledwie kilku tysięcy zdjęć
Dostosowanie dużego, wstępnie wyszkolonego modelu językowego do sporządzania podsumowań prawnych lub medycznych poprzez dostrojenie mniejszego korpusu specjalistycznego
Używanie modelu wyszkolonego w zakresie mowy ogólnej jako punktu wyjścia do zbudowania modułu rozpoznawania określonego akcentu lub dialektu
Ponowne uczenie ostatniej warstwy modelu wizyjnego w celu klasyfikowania chorób roślin na podstawie obrazów liści na potrzeby aplikacji rolniczej
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokument, w którym pomaga nauka transferu i gdzie prostsze metody są lepsze.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Transfer Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Uczenie się częściowo nadzorowane
Często zadawane pytania
What is Transfer Learning?
Transfer uczenia się ponownie wykorzystuje model już przeszkolony na dużym zbiorze danych i dostosowuje go do nowego, powiązanego zadania. Zamiast zaczynać od zera, stoisz na barkach modelu, który nauczył się już przydatnych funkcji ogólnych, oszczędzając ogromną ilość czasu, danych i obliczeń.
Jaka jest podstawowa idea uczenia się transferowego?
Uczenie się transferowe wykorzystuje model, który już nauczył się ogólnych funkcji, i dostosowuje go, oszczędzając dane, czas i obliczenia.
Dlaczego podczas dostrajania głębszych warstw stosujesz bardzo niską szybkość uczenia się?
Duże aktualizacje małego zestawu danych mogą zastąpić cenne, wstępnie wyszkolone funkcje i szybko je przerobić, dlatego aktualizacje są małe.
Która sytuacja NAJLEPIEJ nadaje się do ekstrakcji prostych cech (zamrożenia bazy)?
Gdy zadanie docelowe jest bliskie oryginałowi, a dane są ograniczone, zamrożone funkcje są już istotne, więc potrzebna jest jedynie nowa głowa.
Jaki problem opisuje „przesunięcie domeny” w uczeniu się transferowym?
Jeśli domena docelowa wygląda bardzo różni się od tej, na której model został wstępnie przeszkolony, ponownie użyte funkcje mogą nie zostać dobrze przeniesione, a dokładność spadnie.
Dlaczego wczesne warstwy wstępnie wyszkolonej sieci są często chętniej wykorzystywane ponownie niż późniejsze?
Wczesne warstwy przechwytują szeroko przydatne wzorce niskiego poziomu, podczas gdy późniejsze warstwy są bardziej wyspecjalizowane w stosunku do pierwotnego zadania.