DalšíDalší průvodce
Jemné doladění zesílení pomocí grejdrů
Technický
Technický PRŮVODCE
Hyperparametry jsou nastavení, která zvolíte před tréninkem, jako je rychlost učení nebo velikost modelu, která se model nenaučí sám.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Tuning them well is often the difference between a mediocre model and a great one.
Parametry modelu (váhy) se učí z dat během tréninku. Hyperparametry jsou různé: jsou to knoflíky, které nastavíte předem a které určují, jak probíhá učení, jako je rychlost učení, velikost dávky, počet vrstev, síla regularizace a jak dlouho trénovat. Nelze je optimalizovat přímo gradientem, takže dobré hodnoty hledáte trénováním mnoha kandidátských modelů a jejich porovnáváním na ověřovací sadě. Nejjednodušší přístup je vyhledávání v mřížce, zkoušení každé kombinace na předem definované mřížce, ale strašně se to škáluje. Náhodné vyhledávání často najde dobré nastavení rychleji pomocí vzorkovacích kombinací. Pokročilejší bayesovská optimalizace vytváří pravděpodobnostní model, jehož nastavení vypadají slibně, a zaměřuje vyhledávání tam. Rychlost učení je obvykle tím nejpůsobivějším hyperparametrem, který má být správný.
Rozprostřením rychlosti učení v několika řádech, abyste našli hodnotu, kdy síť trénuje rychle, aniž by se rozcházela.
Použití náhodného vyhledávání k vyladění hloubky stromu, počtu stromů a rychlosti učení pro model zesilující gradient na tabulkových datech.
Spuštění bayesovské optimalizace za účelem společného vyladění síly regularizace a velikosti dávky pro hlubokou síť s omezeným rozpočtem GPU.
Použití Hyperbandu ke krátkému trénování desítek konfigurací a následné poskytnutí dalších epoch pouze těm nejslibnějším, kteří přežili.
Manuální ladění a ladění založené na mřížce ustupuje automatizovanému strojovému učení (AutoML) a chytřejšímu vyhledávání, jako je Bayesovská optimalizace a Hyperband, které využívají výpočet mnohem efektivněji. S růstem základních modelů se úplné přeškolení na zkoušku neúměrně prodražuje, takže se pozornost přesouvá k levnějším proxy, škálovacím zákonům, které předpovídají dobré nastavení z malých sérií, a ladění lehkých adaptérů namísto celých modelů. Očekávejte, že ladění bude stále více automatizováno a bude zohledňovat rozpočet, s nástroji, které explicitně vymění cenu vyhledávání za očekávané zisky.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Hyperparametry jsou nastavení, která zvolíte před tréninkem, jako je rychlost učení nebo velikost modelu, která se model nenaučí sám. Dobře je vyladit je často rozdíl mezi průměrným a skvělým modelem.
Váhy (parametry) se učí z dat během tréninku. Hyperparametry, jako je rychlost učení nebo počet vrstev, se volí předem a řídí, jak bude trénink probíhat.
Rychlost učení silně ovlivňuje, zda a jak rychle model konverguje. Příliš vysoká a trénink se liší; příliš nízko a plazí se nebo se zasekává.
Vyhledávání v mřížce plýtvá zkouškami na nedůležitých rozměrech. Náhodné vyhledávání prozkoumává prostor efektivněji a často dosahuje dobrých konfigurací s menším počtem pokusů.
Bayesovská optimalizace modeluje vztah mezi konfiguracemi a ověřovacím skóre a poté vybere další pokus, aby vyvážil průzkum nejistých oblastí s využitím těch slibných.
Ladění vybere nastavení, která nejlépe vypadají na jakýchkoli datech, která vyhodnocujete. Pokud je to testovací sada, je váš hlášený výkon nafouknutý. Ladění místo toho používá samostatnou sadu ověřování.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jemné doladění zesílení pomocí grejdrů
Technický