Laboratoires modaux
Modal est une plate-forme cloud sans serveur qui permet aux développeurs d'exécuter du code Python, y compris des charges de travail GPU, dans le cloud en ajoutant un décorateur à une fonction.
Aperçu
It matters because it removes the pain of containers, infrastructure, and scaling so AI and data teams can deploy models and batch jobs in minutes.
Plongée profonde
Fondé en 2021 par Erik Bernhardsson (créateur de la bibliothèque Annoy de Spotify et Luigi) et Akshat Bubna, Modal cible le manque d'expérience des développeurs dans l'infrastructure ML. Vous définissez votre environnement, vos dépendances et votre matériel directement dans Python, et Modal crée des conteneurs, provisionne des processeurs ou des GPU et exécute votre code à la demande, en s'adaptant à des centaines de conteneurs et en revenant à zéro. Sa fonctionnalité remarquable est un environnement d'exécution de conteneur personnalisé et un système de fichiers conçus pour des démarrages à froid en moins d'une seconde, un problème notoire dans le sans serveur. Modal est populaire pour les points de terminaison d'inférence de modèle, le réglage fin, le traitement par lots, les tâches planifiées (cron) et les points de terminaison Web. La facturation s'effectue à la seconde pour le calcul réellement utilisé. Il est en concurrence conceptuelle avec AWS Lambda, SageMaker et Runpod, mais met l'accent sur un flux de travail Pythonique axé sur le code.
Aperçu technique
La principale réussite technique de Modal réside dans les démarrages à froid rapides : il a créé une pile de conteneurs personnalisée et un système de fichiers à chargement paresseux afin que les conteneurs puissent tourner en quelques secondes plutôt qu'en quelques minutes, même avec des modèles de poids importants. Les développeurs décrivent les images et les exigences GPU dans le code ; Les instantanés modaux et les mettent en cache, puis mettent automatiquement à l'échelle les répliques de conteneurs pour correspondre à la charge entrante et les mettent à zéro lorsqu'elles sont inactives, de sorte que vous ne payez que pour le calcul réellement utilisé.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir des laboratoires modaux
À mesure que l’IA passe de l’expérimentation à la production, la demande d’un déploiement sans friction augmente. Attendez-vous à ce que Modal approfondisse la prise en charge de la formation distribuée, des charges de travail agents et de longue durée, de l'exécution de code en bac à sable pour les agents d'IA et d'une observabilité plus riche. Son pari est que la plate-forme ML gagnante optimise la vitesse des développeurs, permettant aux petites équipes de fournir des services basés sur GPU sans équipe d'infrastructure dédiée.
Mise en œuvre dans le monde réel
Un développeur enveloppe une fonction de génération d'images avec un décorateur modal et obtient instantanément un point de terminaison Web à mise à l'échelle automatique basé sur GPU.
Une équipe de données exécute un travail par lots nocturne sur des milliers de fichiers à l'aide de la planification cron et du parallélisme de distribution de Modal.
Une startup d'IA peaufine un modèle ouvert sur les GPU modaux, en payant à la seconde et en évoluant jusqu'à zéro une fois le travail terminé.
Une plate-forme d'agent utilise des bacs à sable modaux pour exécuter en toute sécurité du code non fiable généré par l'IA dans des conteneurs isolés.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Modal Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Découverte de médicaments Isomorphic Labs
Questions fréquemment posées
What is Modal Labs?
Modal est une plate-forme cloud sans serveur qui permet aux développeurs d'exécuter du code Python, y compris des charges de travail GPU, dans le cloud en ajoutant un décorateur à une fonction. C'est important car cela supprime les problèmes liés aux conteneurs, à l'infrastructure et à la mise à l'échelle afin que les équipes d'IA et de données puissent déployer des modèles et des tâches par lots en quelques minutes.
Comment les développeurs exécutent-ils généralement du code sur Modal ?
Modal vous permet de définir et d'exécuter des fonctions cloud, y compris sur des GPU, en décorant des fonctions Python ordinaires.
Quel problème sans serveur bien connu Modal est-il spécialement conçu pour résoudre ?
Modal a créé un environnement d'exécution de conteneur personnalisé et un système de fichiers à chargement paresseux pour réaliser des démarrages à froid en moins d'une seconde, un problème classique sans serveur.
Comment Modal facture-t-il le calcul ?
Frais modaux par seconde pour le calcul réellement consommé et peuvent mettre les conteneurs à zéro lorsqu'ils sont inactifs.
Qui a co-fondé Modal et est connu pour ses outils open source antérieurs comme Luigi et Annoy ?
Modal a été cofondé par Erik Bernhardsson, auparavant connu pour avoir créé Annoy de Spotify et l'outil de flux de travail Luigi.
Que signifie « échelle à zéro » sur Modal ?
Lorsqu'il n'y a aucune requête, Modal réduit à zéro les conteneurs en cours d'exécution, de sorte que vous n'encourez aucun coût de calcul jusqu'au retour du trafic.