Modal Labs
A Modal egy szerver nélküli felhőplatform, amely lehetővé teszi a fejlesztők számára, hogy Python-kódot, beleértve a GPU-munkaterheléseket is, a felhőben futtassák úgy, hogy dekorátort adnak egy funkcióhoz.
Áttekintés
It matters because it removes the pain of containers, infrastructure, and scaling so AI and data teams can deploy models and batch jobs in minutes.
Mély merülés
A 2021-ben Erik Bernhardsson (a Spotify Annoy könyvtárának és a Luigi megalkotója) és Akshat Bubna által alapított Modal az ML infrastruktúrában a fejlesztői tapasztalatok hiányát célozza meg. A környezetet, a függőségeket és a hardvert közvetlenül a Pythonban határozhatja meg, a Modal pedig konténereket, CPU-kat vagy GPU-kat épít ki, és igény szerint futtatja a kódot, több száz konténerre skálázva, majd visszaállítva nullára. Kiemelkedő funkciója egy egyedi konténer futási környezet és fájlrendszer, amelyet a másodperc alatti hidegindításra terveztek, ami egy hírhedt fájdalompont a szerver nélküli környezetben. A Modal népszerű a modellkövetkeztetési végpontok, a finomhangolás, a kötegelt feldolgozás, az ütemezett feladatok (cron) és a webes végpontok esetében. A számlázás másodpercenként történik a ténylegesen használt számítás alapján. Koncepcionálisan felveszi a versenyt az AWS Lambdával, a SageMakerrel és a Runpoddal, de kiemeli a kód-első, Pythonic munkafolyamatot.
Technikai betekintés
A Modal legfontosabb mérnöki vívmánya a gyors hidegindítás: egyedi konténervermet és lustán betöltődő fájlrendszert épített fel, így a konténerek percek helyett másodpercek alatt felpöröghetnek, még nagy modellsúlyok mellett is. A fejlesztők kódban írják le a képeket és a GPU-követelményeket; Modális pillanatképeket készít és gyorsítótárazza ezeket, majd automatikusan méretezi a tárolóreplikákat a bejövő terheléshez, és nullára skálázza üresjáratban, így csak a ténylegesen használt számításokért kell fizetnie.
Stratégiai hatás
Szállítói stratégia
A szállítói ütemterv befolyásolja, hogy csapata milyen funkciókat építhet fel legközelebb.
Költség és költségvetés
A kereskedelmi feltételek és a telepítési lehetőségek befolyásolják a hosszú távú költségeket és kockázatokat.
Kockázat és biztonság
A vállalati ösztönzők alakítják a termék alapértelmezett beállításait, a biztonsági testtartást és a nyitottságot.
A Modal Labs jövője
Ahogy a mesterséges intelligencia a kísérletezésről a termelésre tér át, a súrlódásmentes telepítés iránti igény nő. A Modal várhatóan elmélyíti az elosztott képzés, az ügynöki és hosszú távú munkaterhelések támogatását, az AI-ügynökök sandbox-kódvégrehajtását és a gazdagabb megfigyelhetőséget. A tét az, hogy a győztes ML platform a fejlesztői sebességre optimalizál, így a kis csapatok GPU-val támogatott szolgáltatásokat szállíthatnak dedikált infrastruktúra-csapat nélkül.
Valós megvalósítás
A fejlesztő a képgeneráló funkciót egy modális dekorátorral burkolja, és azonnal kap egy automatikus skálázó GPU által támogatott webes végpontot.
Egy adatcsapat éjszakai kötegelt munkát végez több ezer fájlon a Modal cron ütemezésének és a kifutó párhuzamosságnak a használatával.
Egy mesterséges intelligencia indítása finomhangolja a nyitott modellt a modális GPU-kon, másodpercenként fizet, és a munka végeztével nullára skálázza.
Az ügynökplatformok modális sandboxokat használnak a nem megbízható, mesterséges intelligencia által generált kód biztonságos futtatására elszigetelt tárolókban.
Kockázatok és védőkorlátok
Az indítási bejelentések meghaladhatják a valódi termelési munkafolyamatok stabilitását.
Az API-árazás vagy az irányelvváltások egyik napról a másikra megdönthetik a feltételezéseket.
Az egyszállítótól való függőség növeli a bezárási és migrációs költségeket.
Végrehajtási ütemterv
Értékelje a szolgáltatókat saját feladatai és adatkészletei segítségével.
Az integráció előtt tekintse át az adatvédelmi, biztonsági és jogi feltételeket.
Tartsa fenn a tartalék tervet a modellek vagy szállítók között.
Figyelje a kiadási megjegyzéseket, hogy az ütemterv változásai ne lepjék meg a csapatokat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Modal Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Izomorf Laboratóriumok Gyógyszerfelfedezése
Gyakran ismételt kérdések
What is Modal Labs?
A Modal egy szerver nélküli felhőplatform, amely lehetővé teszi a fejlesztők számára, hogy Python-kódot, beleértve a GPU-munkaterheléseket is, a felhőben futtassák úgy, hogy dekorátort adnak egy funkcióhoz. Ez azért fontos, mert eltávolítja a konténerek, az infrastruktúra és a méretezés okozta fájdalmat, így az AI- és adatcsapatok percek alatt telepíthetik a modelleket és a kötegelt feladatokat.
A fejlesztők általában hogyan futtatnak kódot a Modalon?
A Modal lehetővé teszi felhőfunkciók meghatározását és futtatását, beleértve a GPU-kat is, a szokásos Python-függvények díszítésével.
Milyen jól ismert szerver nélküli probléma megoldására tervezték a Modalt?
A Modal egyéni konténer-futási környezetet és lustán betöltődő fájlrendszert épített fel, hogy elérje a másodperc alatti hidegindítást, ami egy klasszikus szerver nélküli fájdalompont.
Hogyan történik a Modal számlázása?
A ténylegesen felhasznált számításért másodpercenkénti modális díjat számít fel, és a tárolókat üresjáratban nullára skálázhatja.
Ki társalapította a Modalt, és olyan korábbi nyílt forráskódú eszközökről ismert, mint a Luigi és az Annoy?
A Modal társalapítója Erik Bernhardsson volt, aki korábban a Spotify Annoy és a Luigi munkafolyamat-eszköz felépítéséről volt ismert.
Mit jelent a „nullára skálázás” a Modalon?
Ha nincsenek kérések, a Modal nullára csökkenti a futó konténereket, így a forgalom visszatéréséig nincs számítási költsége.