Laboratoria modalne
Modal to bezserwerowa platforma chmurowa, która umożliwia programistom uruchamianie kodu Pythona, w tym obciążeń GPU, w chmurze poprzez dodanie dekoratora do funkcji.
Przegląd
It matters because it removes the pain of containers, infrastructure, and scaling so AI and data teams can deploy models and batch jobs in minutes.
Głębokie nurkowanie
Założona w 2021 roku przez Erika Bernhardssona (twórcę biblioteki Annoy i Luigiego w Spotify) oraz Akshata Bubnę, Modal skupia się na luce w doświadczeniu programistów w infrastrukturze ML. Definiujesz swoje środowisko, zależności i sprzęt bezpośrednio w Pythonie, a Modal buduje kontenery, udostępnia procesory lub procesory graficzne i uruchamia kod na żądanie, skalując do setek kontenerów i z powrotem do zera. Jego wyróżniającą cechą jest niestandardowe środowisko wykonawcze kontenerów i system plików zaprojektowany pod kątem zimnego startu w czasie krótszym niż sekunda, co jest notorycznym problemem w przypadku rozwiązań bezserwerowych. Modal jest popularny w przypadku punktów końcowych wnioskowania modelu, dostrajania, przetwarzania wsadowego, zaplanowanych zadań (cron) i internetowych punktów końcowych. Rozliczenie jest naliczane sekundowo za faktycznie wykorzystane moce obliczeniowe. Konceptualnie konkuruje z AWS Lambda, SageMaker i Runpod, ale kładzie nacisk na oparty na kodzie, Pythoniczny przepływ pracy.
Wgląd techniczny
Kluczowym osiągnięciem inżynieryjnym firmy Modal jest szybki zimny start: zbudowano niestandardowy stos kontenerów i system plików z leniwym ładowaniem, dzięki czemu kontenery mogą uruchamiać się w ciągu kilku sekund, a nie minut, nawet w przypadku modeli o dużej masie. Programiści opisują obrazy i wymagania GPU w kodzie; Modalne migawki i buforują je, a następnie automatycznie skalują repliki kontenerów, aby dopasować je do przychodzącego obciążenia i skalują do zera w stanie bezczynności, dzięki czemu płacisz tylko za faktycznie wykorzystane moce obliczeniowe.
Wpływ strategiczny
Strategia dostawcy
Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
Koszt i budżet
Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
Ryzyko i bezpieczeństwo
Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Przyszłość laboratoriów modalnych
W miarę jak sztuczna inteligencja przechodzi od eksperymentów do produkcji, rośnie zapotrzebowanie na bezproblemowe wdrażanie. Oczekuj, że Modal pogłębi wsparcie dla rozproszonego szkolenia, agentycznych i długotrwałych obciążeń, wykonywania kodu w piaskownicy dla agentów AI i bogatszej obserwowalności. Zakłada się, że zwycięska platforma ML zoptymalizuje prędkość programistów, umożliwiając małym zespołom dostarczanie usług wspieranych przez procesor graficzny bez dedykowanego zespołu ds. infrastruktury.
Implementacja w świecie rzeczywistym
Programista łączy funkcję generowania obrazu z dekoratorem Modal i natychmiast otrzymuje internetowy punkt końcowy z autoskalowaniem i obsługą procesora graficznego.
Zespół zajmujący się danymi uruchamia co noc zadanie wsadowe na tysiącach plików, korzystając z harmonogramu cron firmy Modal i równoległości rozgałęziania.
Startup AI dostraja otwarty model na modalnych procesorach graficznych, płacąc za sekundę i skalując do zera po zakończeniu zadania.
Platforma agentów korzysta z modalnych piaskownic, aby bezpiecznie wykonywać niezaufany kod wygenerowany przez sztuczną inteligencję w izolowanych kontenerach.
Zagrożenia i poręcze
Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Plan wdrożenia
Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
Utrzymuj plan awaryjny dla różnych modeli i dostawców.
Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Modal Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Odkrycie leków w laboratoriach izomorficznych
Często zadawane pytania
What is Modal Labs?
Modal to bezserwerowa platforma chmurowa, która umożliwia programistom uruchamianie kodu Pythona, w tym obciążeń GPU, w chmurze poprzez dodanie dekoratora do funkcji. Ma to znaczenie, ponieważ eliminuje problemy związane z kontenerami, infrastrukturą i skalowaniem, dzięki czemu zespoły zajmujące się sztuczną inteligencją i danymi mogą wdrażać modele i zadania wsadowe w ciągu kilku minut.
W jaki sposób programiści zazwyczaj uruchamiają kod w Modal?
Modal umożliwia definiowanie i uruchamianie funkcji w chmurze, w tym na procesorach graficznych, poprzez dekorowanie zwykłych funkcji Pythona.
Jaki dobrze znany problem bezserwerowy został specjalnie zaprojektowany do rozwiązania Modal?
Modal zbudował niestandardowe środowisko wykonawcze kontenerów i system plików z leniwym ładowaniem, aby uzyskać zimny start w czasie krótszym niż sekunda, co jest klasycznym problemem bezserwerowym.
W jaki sposób Modal wystawia rachunki za obliczenia?
Opłaty modalne na sekundę za faktycznie zużyte obliczenia i umożliwiają skalowanie kontenerów do zera w stanie bezczynności.
Kto jest współzałożycielem Modal i jest znany z wcześniejszych narzędzi typu open source, takich jak Luigi i Annoy?
Współzałożycielem Modal jest Erik Bernhardsson, znany wcześniej z tworzenia narzędzi do obsługi przepływu pracy Annoy i Luigi w serwisie Spotify.
Co oznacza „skala do zera” w Modal?
Gdy nie ma żadnych żądań, Modal skaluje się do zera działających kontenerów, więc nie ponosisz kosztów obliczeniowych do czasu przywrócenia ruchu.