LegközelebbKövetkező útmutató
T5 és szöveg-szöveg átvitel
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Az adapterrétegek apró betanítható modulok, amelyeket egy lefagyott előképzett modellbe illesztenek, és lehetővé teszik, hogy a paraméterek csak néhány százalékának frissítésével az új feladatokhoz igazodjon.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Olcsóvá, modulárissá és könnyen cserélhetővé teszik a finomhangolást.
Adapterek, népszerűvé Houlsby et al. (2019) az NLP-ben végzett transzfertanuláshoz egy költséges problémát old meg: a teljes finomhangolás minden súlyt frissít egy nagy modellben, és feladatonként egy teljesen új másolatot készít. Ehelyett egy adapter kis szűk keresztmetszetű hálózatokat illeszt be minden transzformátorblokkba, jellemzően egy kis dimenzióra lefelé vetítést, egy nemlinearitást és egy felfelé vetítést egy maradék csatlakozásba burkolva. Edzés közben az eredeti előedzett súlyok fagyva maradnak; csak az adapterek (gyakran az összes paraméter 5%-a alatt) tanulnak meg. Ez szinte teljes finomhangolási minőséget eredményez olyan benchmarkokon, mint a GLUE, miközben sokkal kevesebb paramétert tanít. Mivel minden feladathoz saját kis adapter tartozik, tárolhat egy alapmodellt és sok könnyű feladatmodult, és felcserélheti vagy akár egymásra is rakhatja őket. Az adapterek a paraméter-hatékony finomhangolás (PEFT) család alapvető tagjai, a LoRA és az előtag hangolás mellett.
Nyelv-specifikus adapter hozzáadása, hogy egyetlen többnyelvű modellt lehessen specializálni mondjuk szuahéli nyelvre anélkül, hogy az egész hálózatot át kell tanítani.
Egyetlen alapmodell és több tucat kis vásárlónkénti adapter fenntartása egy SaaS-termékben, kérésenként a megfelelő cseréje.
Finomhangoljon egy modellt a hangulatbesoroláshoz úgy, hogy csak néhány százalékos adaptert tanít, majd az alapot megosztja más feladatokhoz.
Feladatadapter halmozása egy tartományadapterre (pl. jogi szöveg adapter és egy összegző adapter) a moduláris újrafelhasználáshoz.
Az adapterek és a szélesebb PEFT-eszközkészlet ma már alapfelszereltségnek számít a nagyméretű modellek megfizethető testreszabásához, különösen a modellméretű léggömbökhöz. Növekedés várható az adapterek összetételében (a feladat- vagy nyelvi adapterek moduláris kombinálása, mint az AdapterHubban), a sok adapter közötti útválasztás és az eszközön történő személyre szabás, ahol egy kis adapter felhasználónként szabja meg a megosztott alapmodellt. A LoRA-változatok egyre inkább dominálnak a puszta hatékonyság érdekében, de a mögöttes ötlet, az óriási modell lefagyasztása és egy kis beépülő modul betanítása, most központi szerepet játszik abban, hogy a terep hogyan méretezheti a testreszabást.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az adapterrétegek apró betanítható modulok, amelyeket egy lefagyott előképzett modellbe illesztenek, és lehetővé teszik, hogy a paraméterek csak néhány százalékának frissítésével az új feladatokhoz igazodjon. Olcsóvá, modulárissá és könnyen cserélhetővé teszik a finomhangolást.
Az adapterhangolás lefagyva tartja az alapmodellt, és csak a kis behelyezett modulokat tanulja meg.
A klasszikus adapter kis méretre szorítja a rejtett állapotot, nemlinearitást alkalmaz, biztonsági másolatot készít, és kihagyó kapcsolatot ad hozzá.
Az adapterek általában a modell összes paraméterének csak néhány százalékát adják hozzá és tanítják, ami jóval kevesebb, mint a teljes finomhangolás.
Mivel minden feladathoz csak egy kis adapterre van szükség, egy megosztott alapmodell sok feladatot képes ellátni a könnyű modulok cseréjével.
Az adapterek egy alapvető PEFT-módszer, az olyan megközelítések mellett, mint a LoRA és az előtag hangolása.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
T5 és szöveg-szöveg átvitel
Nyelvi AI