Mixtral és Sparse modellek
A Mixtral a Mistral AI nyitott szakértői keveréke, amely nagy modellek minőségét biztosítja kis modellek sebességével.
Áttekintés
Sparse models like it activate only a fraction of their parameters per token, cutting compute without sacrificing capability.
Mély merülés
A Mistral AI által 2023 végén kiadott Mixtral 8x7B népszerűsítette a ritka szakértői keverék (MoE) megközelítést a nyílt modellekben. Nyolc különálló „szakértői” előrecsatolt hálózatot tartalmaz rétegenként, összesen körülbelül 47 milliárd paraméterrel, de egy könnyű útválasztó csak két szakértőt választ ki minden tokenhez. Ennek eredményeként csak nagyjából 13 milliárd paraméter aktív tokenenként, így a következtetés körülbelül olyan gyorsan fut, mint egy 13B sűrű modell, miközben a jóval nagyobbakhoz hasonló minőséget ér el. A Mixtral megfelelt vagy megverte a GPT-3.5-öt és a Llama 2 70B-t számos benchmarkon, miközben gyorsabb és olcsóbb volt a kiszolgálás. A Mistral később kiadta a Mixtral 8x22B-t. A modell nyílt forráskódú Apache 2.0 licenc alatt áll, ami elősegíti a gyors elfogadást és finomhangolást a nyílt forráskódú közösségben.
Technikai betekintés
Egy ritka MoE rétegben a sűrű előrecsatoló blokkot N szakértői hálózat és egy kis kapuzóhálózat (a router) váltja fel. Az útválasztó minden tokennél kiszámolja a pontszámokat, és kiválasztja a legjobb k szakértőt (a Mixtralban a legjobb 2-t), és a tokent csak ezeken keresztül irányítja. Kimeneteiket súlyozzák és összegzik. Mivel a legtöbb szakértő tokenenként tétlen marad, a modell sok paramétert tárol a memóriában, ugyanakkor sokkal kevesebb számítást végez. A kompromisszum: minden szakértőt be kell tölteni a VRAM-ba, még akkor is, ha csak néhány fut.
Stratégiai hatás
Költség és költségvetés
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
Tisztább döntések
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
Minőségellenőrzés
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.
A Mixtral és Sparse modellek jövője
A Sparse MoE most központi szerepet játszik a határ menti AI-ban. Nyitottabb MoE-kiadásokra, sok kis szakértővel végzett finomabb útválasztásra, valamint megosztott vagy hibrid szakértői tervezésekre számíthat, amelyek tovább javítják a hatékonyságot. Amint a modellek több billió összes paraméter felé skálázódnak, a ritkaság a fő eszköz a következtetések megfizethető megőrzéséhez. A kutatás foglalkozik a MoE gyenge pontjaival, a szakértők közötti terheléselosztással, a memória többletterhelésével és a képzési stabilitással, miközben a hardver és a kiszolgáló veremek egyre inkább a szakértői útválasztásra optimalizálnak.
Valós megvalósítás
Kiváló minőségű chatbot kiszolgálása egy sokkal kisebb sűrű modell költségén és sebességén
Apache-2.0 licenccel rendelkező modell saját üzemeltetése kereskedelmi termékekhez használati díjak nélkül
Az egyéni viselkedések finomhangolása a Mixtral-on kódolási, összegzési vagy többnyelvű feladatokhoz
Gyors következtetések futtatása egyetlen több GPU-s szerveren, ahol egy 70B sűrű modell túl lassú lenne
Kockázatok és védőkorlátok
Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.
Végrehajtási ütemterv
Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
Benchmark reális terhelési és adatviszonyok mellett.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixtral and Sparse Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Modell és csővezeték párhuzamossága
Gyakran ismételt kérdések
What is Mixtral and Sparse Models?
A Mixtral a Mistral AI nyitott szakértői keveréke, amely nagy modellek minőségét biztosítja kis modellek sebességével. Az ehhez hasonló ritka modellek csak a paramétereik töredékét aktiválják tokenenként, így lerövidítik a számítást a képesség feláldozása nélkül.
A Mixtral 8x7B-ben hány szakértő dolgozza fel az egyes tokent?
A Mixtral a legjobb 2 útválasztást használja: egy útválasztó a nyolc szakértő közül kettőt választ ki az egyes token feldolgozására.
Melyik komponens dönti el, hogy mely szakértőknek küldjék el a tokent?
Egy kis kapuhálózat, az úgynevezett router, pontozza a szakértőket, és kiválasztja, hogy melyik kezeli az egyes tokent.
Bár a Mixtral 8x7B összesen körülbelül 47 milliárd paraméterrel rendelkezik, nagyjából hány aktív tokenenként?
Mivel tokenenként csak két szakértő fut, nagyjából 13 milliárd paraméter aktív, ami egy sokkal kisebb modell sebességét adja.
Mi a kulcsfontosságú kompromisszum az olyan ritka MoE modelleknél, mint a Mixtral?
A MoE tokenenként menti a számítást, de továbbra is megköveteli, hogy minden szakértő VRAM-ban legyen, ami növeli a memóriaigényt.
Melyik licenc alapján adta ki a Mistral AI a Mixtral-t, elősegítve a nyílt örökbefogadást?
A Mixtral a megengedő Apache 2.0 licenc alatt jelent meg, lehetővé téve az ingyenes kereskedelmi felhasználást és a finomhangolást.