Quiz połączony z przewodnikiem · Średni Poziom
Quiz dotyczący gradientowych punktów kontrolnych
Wyjaśnia rematerializację aktywacji, oszczędność pamięci, obciążenie obliczeniowe zależne od harmonogramu oraz kombinacje z fragmentowaniem i mieszaną precyzją.
Pytanie 1 z 8
Do czego służy gradientowy punkt kontrolny przede wszystkim w celu oszczędzania pamięci?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Do czego służy gradientowy punkt kontrolny przede wszystkim w celu oszczędzania pamięci?
- Dodatkowe obliczenia (ponowne obliczenia) w celu zmniejszenia zużycia pamięci
- Dokładność modelu dla prędkości
- Miejsce na dysku dla przepustowości sieci
- Precyzja wielkości partii
- Dlaczego aktywacje są zwykle zapisywane podczas podania do przodu?
- Aby wyświetlić je użytkownikowi
- Ponieważ propagacja wsteczna wymaga ich obliczenia gradientów
- Aby przyspieszyć ładowanie danych
- Tak naprawdę nigdy nie są potrzebne
- Co w uproszczonym łańcuchu N warstw o podobnej wielkości mogą osiągnąć granice punktów kontrolnych rozmieszczonych wokół warstw sqrt(N) w harmonogramie podręcznika?
- Nie przechowuje żadnych aktywacji i nie wykonuje żadnych ponownych obliczeń
- Gwarantuje stałą pamięć dla każdego wykresu modelu
- Magazyn aktywacji można skalować w kolejności punktów kontrolnych sqrt(N).
- Powoduje skalowanie pamięci stanu optymalizatora jako sqrt(N)
- Co najbardziej determinuje narzut czasu wykonywania punktów kontrolnych gradientu w praktycznym modelu?
- Tylko rozszerzenie pliku modelu
- Stałe spowolnienie o 20–30% dla każdego modelu
- Liczba etykiet w zestawie danych
- Które operacje są ponownie obliczane, rozmieszczenie punktów kontrolnych, struktura wykresu i sprzęt
- Które narzędzie jest powszechnie używane w PyTorch do stosowania punktów kontrolnych gradientu w module?
- punkt kontrolny.torch.utils
- palnik.optim.SGD
- latarka.nn.Wyrzucenie
- torch.cuda.empty_cache
- Co dzieje się z operacjami w obszarze z punktem kontrolnym podczas odtwarzania wstecz?
- Ich gradienty są całkowicie pomijane
- Ich przyszłe obliczenia są uruchamiane ponownie w celu zregenerowania potrzebnych aktywacji
- Ich wagi są trwale odrzucane
- Są one wykonywane tylko podczas wnioskowania
- Które techniki szkoleniowe można połączyć z punktami kontrolnymi aktywacji, aby zmniejszyć różne koszty pamięci?
- Jedynie zwiększenie liczby etykiet
- Wyłączenie propagacji wstecznej
- FSDP dla stanu modelu podzielonego na fragmenty i mieszanej precyzji dla tensorów o niższej precyzji
- Zastąpienie modelu tokenizerem
- Co ma wybrać punkt kontrolny aktywacji selektywnej?
- Które etykiety szkoleniowe zostały usunięte
- Które wyniki modelu są publikowane
- Który procesor graficzny staje się tokenizerem
- Które operacje zapisać, a które ponownie obliczyć na podstawie kosztów pamięci i czasu wykonania