Модальные лаборатории
Modal — это бессерверная облачная платформа, которая позволяет разработчикам запускать код Python, включая рабочие нагрузки графического процессора, в облаке, добавляя декоратор к функции.
Обзор
It matters because it removes the pain of containers, infrastructure, and scaling so AI and data teams can deploy models and batch jobs in minutes.
Глубокое погружение
Основанная в 2021 году Эриком Бернхардссоном (создателем библиотеки Spotify Annoy и Луиджи) и Акшатом Бубной, компания Modal нацелена на устранение пробелов в опыте разработчиков в инфраструктуре машинного обучения. Вы определяете свою среду, зависимости и оборудование непосредственно в Python, а Modal создает контейнеры, выделяет центральные или графические процессоры и запускает ваш код по требованию, масштабируясь до сотен контейнеров и возвращаясь к нулю. Его выдающейся особенностью является настраиваемая среда выполнения контейнера и файловая система, разработанная для холодного запуска менее чем за секунду, что является печально известной болевой точкой в бессерверных системах. Модальный режим популярен для конечных точек вывода модели, точной настройки, пакетной обработки, запланированных заданий (cron) и конечных точек веб-интерфейса. Оплата производится посекундно за фактически использованные вычислительные ресурсы. Концептуально он конкурирует с AWS Lambda, SageMaker и Runpod, но делает упор на Pythonic рабочий процесс, ориентированный прежде всего на код.
Техническая информация
Ключевое инженерное достижение Modal — быстрый холодный запуск: он создал собственный стек контейнеров и файловую систему с отложенной загрузкой, поэтому контейнеры могут запускаться за секунды, а не за минуты, даже при больших весах моделей. Разработчики описывают изображения и требования к графическому процессору в коде; Модальные снимки и кэширование их, затем автоматическое масштабирование реплик контейнера в соответствии с входящей нагрузкой и масштабирование до нуля в режиме простоя, поэтому вы платите только за фактически использованные вычисления.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее модальных лабораторий
По мере того как ИИ переходит от экспериментов к производству, растет спрос на беспрепятственное развертывание. Ожидайте, что Modal углубит поддержку распределенного обучения, агентных и длительных рабочих нагрузок, изолированного выполнения кода для агентов ИИ и более широкие возможности наблюдения. Ставка заключается в том, что победившая платформа машинного обучения оптимизирует скорость разработки, позволяя небольшим командам предоставлять услуги на базе графических процессоров без выделенной команды по инфраструктуре.
Реальная реализация
Разработчик оборачивает функцию генерации изображений модальным декоратором и мгновенно получает конечную веб-точку с автомасштабированием на базе графического процессора.
Группа обработки данных каждую ночь выполняет пакетное задание над тысячами файлов, используя планирование cron и разветвленный параллелизм Modal.
Стартап в области искусственного интеллекта настраивает открытую модель на модальных графических процессорах, платя посекундную оплату и масштабируясь до нуля после завершения работы.
Платформа агентов использует модальные песочницы для безопасного выполнения ненадежного кода, созданного искусственным интеллектом, в изолированных контейнерах.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Modal Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Открытие лекарств в изоморфных лабораториях
Часто задаваемые вопросы
What is Modal Labs?
Modal — это бессерверная облачная платформа, которая позволяет разработчикам запускать код Python, включая рабочие нагрузки графического процессора, в облаке, добавляя декоратор к функции. Это важно, потому что это устраняет проблемы с контейнерами, инфраструктурой и масштабированием, позволяя командам по искусственному интеллекту и данным могут развертывать модели и выполнять пакетные задания за считанные минуты.
Как разработчики обычно запускают код в модальном режиме?
Modal позволяет определять и запускать облачные функции, в том числе на графических процессорах, путем оформления обычных функций Python.
Какую известную бессерверную проблему специально создан для решения Modal?
Modal создал собственную среду выполнения контейнера и файловую систему с отложенной загрузкой для достижения холодного запуска менее чем за секунду, что является классической проблемой бессерверных систем.
Как Modal выставляет счета за вычисления?
Модальный режим взимает посекундную плату за фактически использованные вычисления и может масштабировать контейнеры до нуля в режиме простоя.
Кто является соучредителем Modal и известен своими ранними инструментами с открытым исходным кодом, такими как Luigi и Annoy?
Соучредителем Modal выступил Эрик Бернхардссон, ранее известный созданием Spotify Annoy и инструмента рабочего процесса Luigi.
Что означает «масштабирование до нуля» в модальном режиме?
При отсутствии запросов Modal сокращает количество работающих контейнеров до нуля, поэтому вы не несете никаких затрат на вычисления до тех пор, пока трафик не вернется.