LegközelebbKövetkező útmutató
Nous Research
Vállalatok
Vállalkozási ÚTMUTATÓ
A Groq egy hardvercég, amely az LPU-t (Language Processing Unit) építi, egy egyedi chipet, amelyet az AI nyelvi modellek rendkívül nagy sebességű futtatására terveztek.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because it delivers some of the fastest inference available, generating hundreds of tokens per second for low-latency AI applications.
A 2016-ban Jonathan Ross, a TPU létrehozásában segédkező egykori Google mérnök által alapított Groq az AI-következtetésre összpontosít, nem pedig a képzésre. LPU-ja a Tensor Streaming Processor nevű, determinisztikus, szoftveresen ütemezett architektúrát használja, ahol a fordító minden műveletet előre megtervez, ahelyett, hogy dinamikus hardveres ütemezőkre és nagy gyorsítótárakra hagyatkozna. Ez a kiszámíthatóság kiküszöböli a szűk keresztmetszeteket, és lehetővé teszi, hogy a Groq olyan nagy nyelvi modelleket, mint a Llama, rendkívül magas tokengenerálási sebességgel, alacsony, állandó késleltetéssel szolgáltasson. A Groq hozzáférést biztosít a GroqCloudon keresztül, ahol a fejlesztők népszerű nyílt modelleket futtathatnak egy API-n keresztül. Vegye figyelembe, hogy a Groq cég különbözik Elon Musk Grok csevegőbotjától, a hasonló név ellenére.
Alacsony késleltetésű chatbotok, amelyek szinte azonnal válaszolnak a felhasználói kérdésekre
Valós idejű hangsegédek futtatása, ahol a gyors szöveggenerálás csökkenti a kínos szüneteket
A nyílt modellek, például a Llama nagy sebességű kiszolgálása a GroqCloud API-n keresztül
Lehetővé teszi a sok modellhívást gyorsan, lassú lépésenkénti késleltetés nélkül leláncoló AI-ügynököket
Mivel a valós idejű AI-ügynökök, hangasszisztensek és csevegőfelületek azonnali válaszokat követelnek, a következtetési sebesség versenyképes csatatérré válik, és a Groq pontosan ott van az Nvidia GPU-kkal és más AI-chipekkel szemben. Várható, hogy a Groq bővítse a GroqCloud kapacitását, több és nagyobb modellt támogasson, és megcélozza a vállalati és szuverén mesterséges intelligencia telepítéseit. A tágabb tendencia az oktatóhardver és a modellek olcsó, nagy méretekben történő kiszolgálására optimalizált, speciális, ultragyors következtetési hardverek közötti növekvő szakadás.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Groq egy hardvercég, amely az LPU-t (Language Processing Unit) építi, egy egyedi chipet, amelyet az AI nyelvi modellek rendkívül nagy sebességű futtatására terveztek. Ez azért fontos, mert a rendelkezésre álló leggyorsabb következtetések egy részét biztosítja, másodpercenként több száz tokent generálva az alacsony késleltetésű AI-alkalmazásokhoz.
Az LPU a Language Processing Unit rövidítése, a Groq chipje, amelyet a nyelvi modellek gyors futtatására terveztek.
A Groq a következtetésekre összpontosít, és a már betanított modelleket nagyon nagy sebességgel szolgálja ki, nem pedig a képzésre.
Az LPU determinisztikus kialakítást használ, ahol a fordító statikusan ütemez minden műveletet, így az időzítés kiszámítható és gyors.
A Groq-ot Jonathan Ross alapította, aki korábban segített a Google Tensor Processing Unit (TPU) fejlesztésében.
A GroqCloud lehetővé teszi a fejlesztők számára a népszerű mesterséges intelligencia modellek futtatását egy API-n keresztül a Groq gyors LPU hardverén.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Nous Research
Vállalatok