NastępnyNastępny poradnik
Stronniczość reprezentacji i próbkowania w zbiorach danych
Techniczne
PRZEWODNIK techniczny
Zaplanowane próbkowanie i błąd ekspozycji
Błąd ekspozycji to luka, która pojawia się, gdy model wytrenowany tylko na doskonałych przedrostkach musi, na podstawie wniosków, uzależniać się od własnych niedoskonałych wyników.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Scheduled sampling is a curriculum that gradually closes that gap.
Głębokie nurkowanie
Modele przeszkolone za pomocą wymuszania przez nauczyciela zawsze postrzegają żetony prawdy jako kontekst, ale w czasie generowania przekazują własne przewidywania. Kiedy wczesny błąd powoduje, że model znajduje się w stanie, w jakim nigdy nie wystąpił podczas uczenia, błędy mogą powodować kulę śnieżną, co jest przyczyną awarii zwanej błędem ekspozycji. Próbkowanie zaplanowane, wprowadzone przez Bengio i współpracowników w 2015 r., rozwiązuje ten problem poprzez rzucanie monetą na każdym etapie dekodowania podczas szkolenia: z pewnym prawdopodobieństwem dostarcza prawdziwy token (wymuszanie przez nauczyciela), a w przeciwnym razie zasila przewidywania własnego modelu na podstawie próbki. Prawdopodobieństwo wykorzystania prawdy podstawowej zaczyna się od wartości jednostkowej i maleje w miarę uczenia się według harmonogramu (liniowego, wykładniczego lub odwrotnej sigmoidy), dzięki czemu model jest stopniowo wystawiany na działanie własnych wyników i uczy się naprawiać swoje błędy.
Implementacja w świecie rzeczywistym
Trenowanie modelu podpisów obrazów za pomocą zaplanowanego próbkowania, aby nauczył się płynnie kontynuować działanie po niedoskonałym przewidywanym słowie
Obniżanie prawdopodobieństwa wymuszania przez nauczyciela za pomocą harmonogramu odwrotnego sigmoidalnego w neuronowym systemie tłumaczenia maszynowego
Diagnozowanie chatbota, który wpada w niespójne pętle jako objaw błędu systematycznego w wyniku czystego wymuszania przez nauczyciela
Porównanie wyników BLEU osoby podsumowującej przeszkolonej przy pełnym wymuszaniu przez nauczyciela z oceną osoby przeszkolonej przy użyciu zaplanowanego pobierania próbek
Przyszłość zaplanowanego próbkowania i błędu ekspozycji
W przypadku dużych modeli języka Transformer dyskutuje się nad praktycznym wpływem błędu ekspozycji, ponieważ ogromne dane i skala je tłumią, a metody takie jak RLHF bezpośrednio zmieniają zachowanie generowania. Mimo to zaplanowane próbkowanie i jego potomkowie pozostają istotne w przypadku mniejszych modeli, generowania strukturalnego i zadań o ścisłych wymaganiach dotyczących dokładności. Przyszłe prace łączą ekspozycję programu nauczania, cele sekwencji wzmacniania i szkolenie przy minimalnym ryzyku, aby dostosować sposób uczenia modeli do faktycznego dekodowania.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Scheduled Sampling and Exposure Bias quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Scheduled Sampling and Exposure Bias?
Błąd ekspozycji to luka, która pojawia się, gdy model wytrenowany tylko na doskonałych przedrostkach musi, na podstawie wniosków, uzależniać się od własnych niedoskonałych wyników. Planowane pobieranie próbek to program nauczania, który stopniowo wypełnia tę lukę.
Do czego służy zaplanowane pobieranie próbek podczas szkolenia?
Zaplanowane próbkowanie stochastycznie łączy tokeny oparte na faktach i wygenerowane przez model jako dane wejściowe dekodera, kontrolowane przez malejące prawdopodobieństwo.
Jak zmienia się prawdopodobieństwo użycia tokena prawdy podstawowej w trakcie treningu w zaplanowanym próbkowaniu?
Harmonogram zaczyna się w pobliżu pełnego wymuszenia przez nauczyciela i zanika, więc w miarę udoskonalania model jest coraz bardziej narażony na własne przewidywania.
Kto wprowadził zaplanowane pobieranie próbek i mniej więcej kiedy?
Zaplanowane pobieranie próbek zostało zaproponowane przez Samy'ego Bengio i współpracowników w 2015 r. w celu przewidywania sekwencji za pomocą sieci rekurencyjnych.
Który kształt harmonogramu jest powszechnie przytaczany w kontekście zmniejszania prawdopodobieństwa wymuszania przez nauczyciela?
W oryginalnej pracy zaproponowano liniowe, wykładnicze i odwrotne sigmoidalne harmonogramy zaniku w celu zmniejszenia prawdopodobieństwa próbkowania w oparciu o prawdę naziemną.
At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
Scheduled sampling sometimes feeds the model’s own sampled prediction instead of the gold previous token.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat