模态实验室
Modal 是一个无服务器云平台，允许开发人员通过向函数添加装饰器来在云中运行 Python 代码（包括 GPU 工作负载）。
概述
It matters because it removes the pain of containers, infrastructure, and scaling so AI and data teams can deploy models and batch jobs in minutes.
深入探讨
Modal 由 Erik Bernhardsson（Spotify Annoy 库和 Luigi 的创建者）和 Akshat Bubna 于 2021 年创立，旨在弥补 ML 基础设施中的开发人员体验差距。您可以直接在 Python 中定义环境、依赖项和硬件，Modal 会构建容器、配置 CPU 或 GPU，并按需运行代码，扩展到数百个容器并回落到零。其突出的功能是定制的容器运行时和文件系统，专为亚秒级冷启动而设计，这是无服务器中臭名昭著的痛点。 Modal 在模型推理端点、微调、批处理、计划作业 (cron) 和 Web 端点中很受欢迎。根据实际使用的计算量按秒计费。它在概念上与 AWS Lambda、SageMaker 和 Runpod 竞争，但强调代码优先的 Python 工作流程。
技术洞察
Modal 的关键工程成就是快速冷启动：它构建了自定义容器堆栈和延迟加载文件系统，因此即使模型权重很大，容器也可以在几秒钟而不是几分钟内启动。开发人员在代码中描述图像和GPU需求；模态快照并缓存它们，然后自动缩放容器副本以匹配传入负载，并在空闲时缩放至零，因此您只需为实际使用的计算付费。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
模态实验室的未来
随着人工智能从实验转向生产，对无摩擦部署的需求不断增长。期望 Modal 加深对分布式训练、代理和长时间运行的工作负载、AI 代理的沙盒代码执行以及更丰富的可观察性的支持。它的赌注是获胜的 ML 平台会针对开发人员的速度进行优化，让小型团队无需专门的基础设施团队即可交付 GPU 支持的服务。
现实世界的实施
开发人员使用 Modal 装饰器包装图像生成函数，并立即获得自动缩放的 GPU 支持的 Web 端点。
数据团队使用 Modal 的 cron 调度和扇出并行性对数千个文件运行夜间批处理作业。
一家 AI 初创公司对 Modal GPU 上的开放模型进行了微调，按秒付费，并在作业完成时缩放至零。
代理平台使用 Modal 沙箱在隔离的容器中安全地执行不受信任的 AI 生成的代码。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Modal Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Modal Labs?
Modal 是一个无服务器云平台，允许开发人员通过向函数添加装饰器来在云中运行 Python 代码（包括 GPU 工作负载）。这很重要，因为它消除了容器、基础设施和扩展的痛苦，因此人工智能和数据团队可以在几分钟内部署模型和批处理作业。
开发人员通常如何在 Modal 上运行代码？
Modal 允许您通过装饰普通 Python 函数来定义和运行云函数，包括在 GPU 上。
Modal 专门为解决哪些著名的无服务器问题而设计？
Modal 构建了自定义容器运行时和延迟加载文件系统，以实现亚秒级冷启动，这是一个典型的无服务器痛点。
Modal 如何计算计算费用？
对实际消耗的计算按每秒模态收费，并且可以在空闲时将容器扩展到零。
谁是 Modal 的联合创始人，并以 Luigi 和 Annoy 等早期开源工具而闻名？
Modal 由 Erik Bernhardsson 共同创立，他之前因开发 Spotify 的 Annoy 和 Luigi 工作流程工具而闻名。
Modal 上的“缩放至零”是什么意思？
当没有请求时，Modal 会缩减至零个正在运行的容器，因此在流量恢复之前您不会产生任何计算成本。