Модални лаборатории
Modal е безсървърна облачна платформа, която позволява на разработчиците да изпълняват код на Python, включително работни натоварвания на GPU, в облака чрез добавяне на декоратор към функция.
Преглед
It matters because it removes the pain of containers, infrastructure, and scaling so AI and data teams can deploy models and batch jobs in minutes.
Дълбоко гмуркане
Основана през 2021 г. от Ерик Бернхардсон (създател на библиотеката Annoy на Spotify и Луиджи) и Акшат Бубна, Modal е насочена към пропуските между разработчиците и опита в ML инфраструктурата. Вие дефинирате вашата среда, зависимости и хардуер директно в Python, а Modal изгражда контейнери, предоставя CPU или GPU и изпълнява вашия код при поискване, мащабирайки се до стотици контейнери и обратно до нула. Неговата забележителна характеристика е персонализирано време за изпълнение на контейнер и файлова система, проектирана за под-секундни студени стартове, прословута болезнена точка при без сървър. Modal е популярен за крайни точки за извеждане на модели, фина настройка, групова обработка, планирани задания (cron) и уеб крайни точки. Таксуването се извършва на секунда за реално използвани изчисления. Той се конкурира концептуално с AWS Lambda, SageMaker и Runpod, но набляга на първо кодиране, Pythonic работен процес.
Техническа информация
Ключовото инженерно постижение на Modal е бързият студен старт: той изгради персонализиран стек от контейнери и файлова система с отложено зареждане, така че контейнерите да могат да се завъртят за секунди, а не за минути, дори при големи тегла на модела. Разработчиците описват изображенията и изискванията за GPU в код; Модалните моментни снимки и ги кешират, след което автоматично мащабират репликите на контейнери, за да съответстват на входящото натоварване и мащабират до нула, когато са неактивни, така че плащате само за действително използваните изчисления.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на Modal Labs
Тъй като AI преминава от експериментиране към производство, търсенето на внедряване без триене нараства. Очаквайте Modal да задълбочи поддръжката за разпределено обучение, агентни и дълготрайни работни натоварвания, изпълнение на код в пясъчна среда за AI агенти и по-богата наблюдаемост. Залогът е, че печелившата ML платформа оптимизира скоростта на разработчиците, позволявайки на малки екипи да доставят услуги, поддържани от GPU, без специален инфраструктурен екип.
Внедряване в реалния свят
Разработчикът обвива функция за генериране на изображения с модален декоратор и незабавно получава автоматично мащабираща се уеб крайна точка, поддържана от GPU.
Екип за данни изпълнява нощна групова работа на хиляди файлове, използвайки cron графика на Modal и разклонения паралелизъм.
Стартиране на AI прецизира отворен модел на модални графични процесори, като плаща на секунда и мащабира до нула, когато работата приключи.
Платформа на агент използва Modal sandboxes за безопасно изпълнение на ненадежден, генериран от AI код в изолирани контейнери.
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Modal Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Изоморфни лаборатории за откриване на лекарства
Frequently asked questions
What is Modal Labs?
Modal е безсървърна облачна платформа, която позволява на разработчиците да изпълняват код на Python, включително работни натоварвания на GPU, в облака чрез добавяне на декоратор към функция. Има значение, защото премахва болката от контейнерите, инфраструктурата и мащабирането, така че AI и екипите за данни могат да разгръщат модели и пакетни задания за минути.
Как разработчиците обикновено изпълняват код на Modal?
Modal ви позволява да дефинирате и изпълнявате облачни функции, включително на GPU, чрез декориране на обикновени функции на Python.
Какъв добре известен проблем без сървър е Modal специално проектиран да решава?
Modal изгради персонализирано време за изпълнение на контейнер и файлова система с отложено зареждане, за да постигне студени стартове за под секунди, класическа болезнена точка без сървър.
Как Modal таксува за изчисляване?
Модалните такси за секунда за действително изразходваното изчисление и могат да мащабират контейнерите до нула, когато са неактивни.
Кой е съосновател на Modal и е известен с по-ранни инструменти с отворен код като Luigi и Annoy?
Modal е съосновател от Ерик Бернхардсон, известен преди това със създаването на Annoy на Spotify и инструмента за работен процес Luigi.
Какво означава „мащаб до нула“ на Modal?
Когато няма заявки, Modal мащабира до нула работещи контейнери, така че да не поемате никакви изчислителни разходи, докато трафикът не се върне.