LegközelebbKövetkező útmutató
Modellmetszés
Műszaki
Műszaki ÚTMUTATÓ
A strukturált metszés eltávolítja a neurális hálózat egész összetevőit, például a figyelemfelkeltő fejeket, neuronokat vagy teljes rétegeket, így a karcsúbb modell gyorsabban fut közönséges hardveren.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A rétegledobás a legagresszívebb változat, a teljes transzformátorblokk törlésével a mélység csökkentése érdekében.
A strukturálatlan metszés nullázza az egyes súlyokat, de a szétszórt nullákkal teli mátrix továbbra is teljes sebességgel fut a GPU-kon, mert a hardver nem hagyja ki őket. A strukturált metszés ehelyett eltávolítja a koherens blokkokat, a teljes figyelemfejeket, az előrecsatolt neuronokat, csatornákat vagy egész rétegeket, ami valójában összehúzza a tenzorokat, és valódi gyorsulást eredményez speciális ritka magok nélkül. A rétegledobás tolja ezt a legmesszebb: a LayerDrophoz hasonló kutatások és a későbbi mélységi metszési munkák azt mutatják, hogy sok transzformátorréteg, különösen a középső és felső veremben, meglepően redundáns. Gyakran a rétegek 20-40 százalékát törölheti, és az elveszett pontosság nagy részét visszaállíthatja egy rövid finomhangolási körrel vagy a tudás desztillálásával. A fontosságot olyan mérőszámok alapján ítélik meg, mint például a réteg bemenete és kimenete közötti szögtávolság (mennyiben változtatja meg az ábrázolást).
Kicsi, gyors diákmodell lepárlása egy nagy tanártól rétegek metszésével, majd finomhangolással a pontosság helyreállítása érdekében
A redundáns figyelemfejek eltávolítása a fordítási modellben a késleltetés csökkentése érdekében az éleszközökön
Egy LLM felső transzformátorblokkjainak ledobása a szigorú mobil következtetési késleltetési cél elérése érdekében
Modellméret-család létrehozása egy előre betanított ellenőrzőpontból különböző mélységű és szélességű metszéssel
A strukturált és mélységi metszés szabványossá válik a hatékony modellváltozatok egyetlen nagy, előre betanított hálózatból történő előállításához, amint az látható a szélességi és mélységi metszésben, valamint a kis modelleket a nagyokból származó desztillációs csővezetékekben. Szorosabb integrációra számíthat a kvantálás és az útválasztás, a hardvertudatos metszés, amely meghatározott gyorsítókat céloz meg, és az automatikus keresés, amely telepítésenként dönti el, hogy egy adott késleltetési költségkeret mellett mekkora mélységet vagy szélességet kell vágni.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A strukturált metszés eltávolítja a neurális hálózat egész összetevőit, például a figyelemfelkeltő fejeket, neuronokat vagy teljes rétegeket, így a karcsúbb modell gyorsabban fut közönséges hardveren. A rétegledobás a legagresszívabb változat, a teljes transzformátorblokk törlésével a mélység csökkentése érdekében.
Az egész fejek, neuronok vagy rétegek eltávolítása csökkenti a tenzor méreteit, így a szabványos sűrű hardver kevesebb munkát végez, míg a szétszórt nullákat továbbra is kiszámítja a rendszer.
A rétegledobás egész transzformátorblokkokat távolít el, levágva a hálózat mélységét, ami a strukturált metszés legagresszívabb formája.
Ha egy réteg alig változtatja meg a maradék folyamot (nagy bemeneti-kimeneti hasonlóság), akkor kevéssé járul hozzá, és eltávolítható.
A rövid finomhangolás vagy desztilláció lehetővé teszi, hogy a megmaradt súlyok visszanyerjék a metszett egységek funkcióját, és helyreállítsák az elvesztett minőség nagy részét.
Egy fej fontosságát az alapján becsüljük meg, hogy mennyivel nő a veszteség, ha elfedjük; az alacsony érzékenységű fejeket először metszik le.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Modellmetszés
Műszaki