LegközelebbKövetkező útmutató
Szerkeverék aggregáció
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A Mélységkeverék (MoD) lehetővé teszi, hogy a transzformátor különböző mennyiségű számítást költsen különböző tokenekre, és csak a „fontos” tokeneket irányítja át az egyes rétegek nehéz számításai során.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Csökkenti az egyszerű tokenek feldolgozásának költségeit, miközben megtartja a rögzített, kiszámítható számítási költségvetést.
A szabványos transzformátorok minden réteget minden tokenre alkalmaznak, még az olyan triviálisakat is, mint az írásjelek. A Google DeepMind által 2024-ben bevezetett Mixture of Depths minden blokkhoz egy kis útválasztót ad, amely kiválasztja a tokenek fix felső k töredékét, hogy átessen a teljes önfigyelem és MLP számításon; a többi maradék csatlakozáson keresztül kihagyja a blokkot. Mivel rétegenként csak k tokent dolgoznak fel, a teljes számítás (FLOP) korlátozott és előre ismert, ellentétben a korábbi dinamikus mélységű módszerekkel, amelyek kiszámíthatatlanul változtak. Ez hatékonysá teszi a kötegelést és a hardverhasználatot. A MoD által kiképzett modellek megfelelhetnek az alaptranszformátorok minőségének, ha kevesebb FLOP-t használnak előremenő lépésenként, vagy magasabb minőséget érhetnek el ugyanazon a számításon, és az ötlet természetesen a Mixture of-Experts segítségével épül fel, hogy a „MoDE” modelleket a mélységben és a szélességben egyaránt megfelelő legyen.
A hosszú dokumentumok feldolgozásához szükséges FLOP-ok csökkentése a kitöltő tokenek mélyreható számításának kihagyásával
Olyan modell betanítása, amely megfelel az alapminőségnek alacsonyabb számítási mód mellett, csökkentve a kiszolgálási költségeket
A Mixture-of-Experts-szel (MoDE) kombinálva a rétegmélység és a szakértői választás alapján egyaránt bevezethető
A tokenenkénti kiszámítható, rögzített késleltetés megtartása, mivel a rétegenkénti számítási költségvetés előre rögzített
A feltételes számítás a hatékonyság fő hajtóereje a modellek méretezésében, a MoD pedig egy korai, tiszta példa. Mélyebb integrációra számíthat a Mixture of-Experts (mind a mélységben, mind a szakértők útválasztásában), az adaptív költségvetésekkel, amelyek csökkennek az egyszerű bevitel érdekében, és a tanult útválasztókkal, amelyek jobban azonosítják, mely tokeneknek van szükségük mélyreható feldolgozásra. Mivel a kikövetkeztetési költségek dominálnak a telepítési gazdaságosságban, a nagyméretű architektúrákban valószínűleg szabványossá válnak azok a technikák, amelyek lehetővé teszik a modellek számára, hogy csak ott gondolkodjanak jobban, ahol szükséges, miközben megtartják a kiszámítható késleltetést.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Mélységkeverék (MoD) lehetővé teszi, hogy a transzformátor különböző mennyiségű számítást költsen különböző tokenekre, és csak a „fontos” tokeneket irányítja át az egyes rétegek nehéz számításai során. Csökkenti az egyszerű tokenek feldolgozásának költségeit, miközben megtartja a rögzített, kiszámítható számítási költségvetést.
A MoD csak néhány jelzőt irányít át az egyes rétegek nehéz számításain, így a különböző tokenek ténylegesen eltérő mélységet kapnak.
A blokkonkénti fix top k tokenek kiválasztása korlátozza a FLOP-okat, és állandóan tartja a tenzor alakzatokat, ami hardverbarát.
A ki nem választott tokenek megkerülik a blokk számítását, és változatlan formában továbbítják őket a maradék útvonalon.
A Mélységek keverékét a Google DeepMind vezette be a dinamikus transzformátorszámításról szóló 2024-es tanulmányában.
A mélységi útválasztás és a szakértői útválasztás kombinálása olyan „MODE” modelleket eredményez, amelyek mind a rétegek, mind a szakértők számítási feltételeit meghatározzák.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Szerkeverék aggregáció
Nyelvi AI