LegközelebbKövetkező útmutató
Using AI to Work Through Physics Problems
Alkalmazások
Műszaki ÚTMUTATÓ
A Straight-Through Estimator (STE) egy egyszerű trükk olyan képzési hálózatokhoz, amelyek kemény, nem megkülönböztethető lépéseket tartalmaznak, mint például a kerekítés vagy a küszöbérték.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A diszkrét értéket használja az előremenetben, de úgy tesz, mintha a művelet az azonosság lenne a színátmenetek kiszámításakor.
Egyes műveletek, mint például a kerekítés egész számra, a súlyok binarizálása +1/-1-re, vagy a felső kategória kiválasztása argmax-szal, olyan deriválttal rendelkeznek, amely szinte mindenhol nulla, és az ugrásoknál nincs definiálva. Ez a nulla gradiens megállítja a tanulást. A Straight-Through Becslő ezt megkerüli az előre- és hátramenetek szétválasztásával: előre, az igazi kemény műveletet alkalmazza; visszafelé egyszerűen átmásolja a bejövő gradienst, mintha a művelet az identitás (vagy egy sima proxy) lett volna. A becslés torzító, mivel a valódi gradiens valóban nulla, de a gyakorlatban ez a „sima volt” közelítés rendkívül jól képezi a bináris és kvantált hálózatokat, ezért az STE a hatékony mélytanulás igáslova.
Bináris és alacsony bites kvantált neurális hálózatok betanítása hatékony következtetések levonásához telefonokon és szélső eszközökön.
Visszaterjesztés a VQ-VAE és a neurális audio/kép tokenizátorok diszkrét kódkönyv-keresésén keresztül.
Kvantálás-tudatos edzés, ahol a súlyokat vagy az aktiválásokat fixpontra kerekítik az előrehaladás során.
Kemény figyelem vagy diszkrét kapuzás megtanulása, ahol egy argmax vagy küszöb található a számítási útvonalon.
Az STE alátámasztja az alacsony bites és bináris neurális hálózatok felfutását az eszközökön és az energiakorlátos mesterségesintelligencia számára, és központi szerepet játszik a vektorkvantált modellek képzésében, mint amilyeneket a modern kép- és hangjelzőkben használnak. A folyamatban lévő munka szigorúbb, kevésbé torzított gradiensbecslőkre és jobb elméleti megértésre törekszik, hogy miért működik egy ilyen nyers közelítés. Ahogy az apró, gyors, kvantált modellek iránti kereslet növekszik a telefonokon és a szélső hardvereken, arra számíthatunk, hogy az STE-stílusú trükkök az ismert torzítás ellenére is alapvetőek maradnak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Straight-Through Estimator (STE) egy egyszerű trükk olyan képzési hálózatokhoz, amelyek kemény, nem megkülönböztethető lépéseket tartalmaznak, mint például a kerekítés vagy a küszöbérték. A diszkrét értéket használja az előremenetben, de úgy tesz, mintha a művelet az azonosság lenne a színátmenetek kiszámításakor.
The guide describes a hard forward pass and a surrogate backward pass.
The guide says hard rounding has a zero or undefined derivative that can stop learning.
The guide explicitly notes that the approximation is biased.
The guide names quantization and rounding as common applications.
The guide gives this pattern to preserve the hard value while passing the identity gradient.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Using AI to Work Through Physics Problems
Alkalmazások