LegközelebbKövetkező útmutató
Megerősítés finomhangolása gréderekkel
Műszaki
Műszaki ÚTMUTATÓ
A hiperparaméterek az edzés előtt kiválasztott beállítások, például a tanulási sebesség vagy a modell mérete, amelyeket a modell nem tanul meg magától.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A jól hangolás gyakran a különbség a középszerű modell és egy nagyszerű modell között.
A modell paramétereit (a súlyokat) az edzés során az adatokból tanuljuk meg. A hiperparaméterek különböznek egymástól: ezek az Ön által előzetesen beállított gombok, amelyek szabályozzák a tanulás menetét, például a tanulási sebességet, a kötegméretet, a rétegek számát, a rendszeresítés erősségét és a képzés időtartamát. Nem optimalizálhatók közvetlenül a gradiens süllyedéssel, ezért jó értékeket kereshet sok jelölt modell betanításával és egy érvényesítési halmazon történő összehasonlításával. A legegyszerűbb megközelítés a rácskeresés, minden kombinációt kipróbálva egy előre definiált rácson, de rettenetesen skálázódik. A véletlenszerű keresés gyakran gyorsabban találja meg a jó beállításokat a kombinációk mintavételezésével. A fejlettebb Bayes-optimalizálás egy valószínűségi modellt épít fel, amely beállítások ígéretesnek tűnnek, és erre összpontosítja a keresést. A tanulási sebesség általában az egyetlen leghatásosabb hiperparaméter a helyes megoldáshoz.
A tanulási arányok több nagyságrendben történő áthaladása annak érdekében, hogy megtalálja azt az értéket, ahol a hálózat gyorsan, szétválás nélkül edz.
Véletlenszerű keresés használata a fa mélységének, a fák számának és a tanulási sebességnek a beállításához egy táblázatos adatok gradiensnövelő modelljéhez.
Bayes-i optimalizálás futtatása a legalizálás erősségének és kötegméretének közös hangolásához egy mély hálózathoz korlátozott GPU-költségvetés mellett.
A Hyperband alkalmazása több tucat konfiguráció rövid távú betanítására, majd további korszakok megadása csak a legígéretesebb túlélőknek.
A manuális és grid-alapú hangolás átadja a helyét az automatizált gépi tanulásnak (AutoML) és az intelligensebb keresésnek, mint például a Bayes-i optimalizálás és a Hyperband, amelyek sokkal hatékonyabban használják a számítást. Az alapmodellek növekedésével a próbaverziónkénti teljes átképzés rendkívül költségessé válik, így a figyelem az olcsóbb proxykra, a kis sorozatokból jó beállításokat jósló skálázási törvényekre és a könnyű adapterek hangolására terelődik a teljes modellek helyett. Várhatóan a hangolás egyre automatizáltabbá és költségvetés-tudatosabbá válik, olyan eszközökkel, amelyek kifejezetten a keresési költségeket a várt haszonnal cserélik.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A hiperparaméterek az edzés előtt kiválasztott beállítások, például a tanulási sebesség vagy a modell mérete, amelyeket a modell nem tanul meg magától. A jó hangolás gyakran a különbség egy közepes és egy nagyszerű modell között.
A súlyokat (paramétereket) az edzés során az adatokból tanuljuk meg. A hiperparaméterek, például a tanulási sebesség vagy a rétegek száma, előzetesen kiválasztásra kerülnek, és szabályozzák a képzés menetét.
A tanulási arány erősen befolyásolja, hogy egy modell konvergál-e, és milyen gyorsan. Túl magas és a képzés eltér; túl alacsony, és mászik vagy elakad.
A rácskeresés lényegtelen méretekre pazarolja a próbákat. A véletlenszerű keresés hatékonyabban tárja fel a teret, és gyakran kevesebb próbálkozással jó konfigurációkat ér el.
A Bayes-féle optimalizálás modellezi a konfigurációk és az érvényességi pontszámok közötti kapcsolatot, majd kiválasztja a következő kísérletet, hogy egyensúlyba hozza a bizonytalan régiók feltárását az ígéretesek kiaknázásával.
A Tuning olyan beállításokat választ, amelyek a legjobban néznek ki az értékelt adatok alapján. Ha ez a tesztkészlet, akkor a jelentett teljesítmény felfújódik. A hangolás ehelyett külön érvényesítési készletet használ.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Megerősítés finomhangolása gréderekkel
Műszaki