LegközelebbKövetkező útmutató
LLM következtetési útválasztás és terheléselosztás
Műszaki
Műszaki ÚTMUTATÓ
A kapuzás és az útválasztás lehetővé teszi, hogy a neurális hálózat csak azokat a részeket aktiválja, amelyekre szüksége van az egyes bemenetekhez, ahelyett, hogy a teljes modellt minden alkalommal futtatná.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez elválasztja a modellméretet a számítási költségektől, így hatalmas modelleket tesz lehetővé, amelyek gyorsan és olcsón futtathatók.
A feltételes számítás azt jelenti, hogy a hálózat adatfüggő döntéseket hoz arról, hogy mely almodulokat használja. Egy kis tanult „kapuzó” vagy „útválasztó” hálózat minden bemenetet (gyakran minden tokent) megvizsgál, és pontszámokat állít elő, kiválasztva, hogy melyik „szakértőnek” küldje el. A Mixture-of-Experts (MoE) rétegben több tucat vagy száz szakértői alhálózat létezik, de az útválasztó csak a legfelső egyet vagy kettőt választja ki tokenenként, így a legtöbb szakértő tétlen marad bármely adott bemenetnél. Az eredmény egy hatalmas teljes paraméterszámmal, de kis aktív számmal rendelkező modell, amely egy óriási modell reprezentációs erejét adja egy sokkal kisebb modell futási költségén. Így az olyan modellek, mint a Switch Transformer, a GLaM és számos határvonalbeli nagy nyelvi modell, elérhető áron skálázhatók több billió paraméterre.
A Switch Transformer minden tokent egyetlen szakértőhöz irányítja, több mint billió paraméterre skálázva, miközben alacsonyan tartja a tokenenkénti számítást.
Határozza meg a nagy nyelvi modelleket a Mixture of-Experts rétegek használatával, így tokenenként csak a súlyok töredéke aktiválódik.
Korai kilépésű képosztályozók, amelyek egy sekély rétegnél megállnak a könnyű képek érdekében, és csak a kemények esetében futnak mélyebbre.
Többnyelvű modellek, amelyek útválasztói megtanulják, hogy különböző nyelvekről küldjenek tokeneket különböző speciális szakértőknek.
A ritka kapuzás ma már központi szerepet játszik a határmodellek méretezésében, és a tendencia a finomabb szakértők, az intelligensebb útválasztók és a többrétegű útválasztás irányába mutat. Jobb technikákra számíthat a stabil képzéshez, csökkenti a kommunikációs költségeket, ha a szakértők sok gyorsítón keresztül vannak szétosztva, és a „szakértői specializáció” elemzését, hogy megértsék, mit tanulnak az egyes szakértők. A feltételes számítás a MoE-n túl is terjed a korai kilépési hálózatokra és a dinamikus mélységű modellekre, amelyek csak nehezebb bemenetekre fordítanak többet.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A kapuzás és az útválasztás lehetővé teszi, hogy a neurális hálózat csak azokat a részeket aktiválja, amelyekre szüksége van az egyes bemenetekhez, ahelyett, hogy a teljes modellt minden alkalommal futtatná. Ez elválasztja a modellméretet a számítási költségektől, így hatalmas modellek futhatnak, amelyek gyorsak és olcsók.
The guide defines data-dependent selection of submodules as conditional computation.
The guide says a learned router selects experts based on its input.
Sparse routing can activate only part of the total parameter set per input.
The guide explains that most experts can remain idle for a particular token.
The guide notes routers can favor a few experts, leaving others underused.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
LLM következtetési útválasztás és terheléselosztás
Műszaki