Phòng thí nghiệm phương thức
Modal là một nền tảng đám mây không có máy chủ cho phép các nhà phát triển chạy mã Python, bao gồm cả khối lượng công việc GPU, trên đám mây bằng cách thêm trình trang trí vào một hàm.
Tổng quan
Điều này quan trọng vì nó loại bỏ những phiền toái từ container, hạ tầng và việc mở rộng để các nhóm AI và dữ liệu có thể triển khai mô hình và công việc hàng loạt chỉ trong vài phút.
Lặn sâu
Được thành lập vào năm 2021 bởi Erik Bernhardsson (người tạo thư viện Annoy của Spotify và Luigi) và Akshat Bubna, Modal nhắm đến khoảng cách giữa trải nghiệm của nhà phát triển trong cơ sở hạ tầng ML. Bạn xác định trực tiếp môi trường, các phần phụ thuộc và phần cứng của mình bằng Python và Modal xây dựng các bộ chứa, cung cấp CPU hoặc GPU, đồng thời chạy mã của bạn theo yêu cầu, mở rộng quy mô lên hàng trăm bộ chứa và quay về số 0. Tính năng nổi bật của nó là thời gian chạy vùng chứa tùy chỉnh và hệ thống tệp được thiết kế để khởi động nguội dưới giây, một điểm yếu khét tiếng trong serverless. Phương thức phổ biến cho các điểm cuối suy luận mô hình, tinh chỉnh, xử lý hàng loạt, công việc theo lịch trình (cron) và điểm cuối web. Tính phí tính theo giây cho điện toán thực tế được sử dụng. Nó cạnh tranh về mặt khái niệm với AWS Lambda, SageMaker và Runpod, nhưng nhấn mạnh quy trình làm việc Pythonic, ưu tiên mã hóa.
Hiểu biết kỹ thuật
Thành tựu kỹ thuật quan trọng của Modal là khởi động nguội nhanh chóng: nó đã xây dựng một ngăn xếp vùng chứa tùy chỉnh và một hệ thống tệp tải từng phần để các vùng chứa có thể quay trong vài giây thay vì vài phút, ngay cả với trọng lượng mô hình lớn. Các nhà phát triển mô tả các yêu cầu về hình ảnh và GPU trong mã; Ảnh chụp nhanh phương thức và lưu vào bộ nhớ đệm, sau đó tự động điều chỉnh tỷ lệ các bản sao vùng chứa để phù hợp với tải đến và điều chỉnh về 0 khi không hoạt động, do đó, bạn chỉ phải trả tiền cho điện toán thực sự được sử dụng.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của phòng thí nghiệm Modal
Khi AI chuyển từ thử nghiệm sang sản xuất, nhu cầu triển khai không gặp trở ngại sẽ tăng lên. Mong đợi Modal sẽ hỗ trợ sâu hơn cho hoạt động đào tạo phân tán, khối lượng công việc tác nhân và chạy dài, thực thi mã hộp cát cho các tác nhân AI và khả năng quan sát phong phú hơn. Đặt cược của họ là nền tảng ML chiến thắng sẽ tối ưu hóa tốc độ của nhà phát triển, cho phép các nhóm nhỏ cung cấp các dịch vụ hỗ trợ GPU mà không cần nhóm cơ sở hạ tầng chuyên dụng.
Triển khai trong thế giới thực
Nhà phát triển kết hợp chức năng tạo hình ảnh bằng trình trang trí Modal và ngay lập tức nhận được điểm cuối web hỗ trợ GPU tự động điều chỉnh tỷ lệ.
Nhóm dữ liệu thực hiện công việc hàng đêm trên hàng nghìn tệp bằng cách sử dụng tính năng lập lịch cron và phân xuất song song của Modal.
Công ty khởi nghiệp AI tinh chỉnh mô hình mở trên GPU Modal, trả tiền theo giây và tăng tỷ lệ về 0 khi công việc kết thúc.
Nền tảng tác nhân sử dụng hộp cát Modal để thực thi một cách an toàn mã không đáng tin cậy do AI tạo ra trong các vùng chứa bị cô lập.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Modal Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Khám phá thuốc của phòng thí nghiệm đẳng hình
Câu hỏi thường gặp
Modal Labs là gì?
Modal là một nền tảng đám mây không có máy chủ cho phép các nhà phát triển chạy mã Python, bao gồm cả khối lượng công việc GPU, trên đám mây bằng cách thêm trình trang trí vào một hàm. Điều này quan trọng vì nó loại bỏ những khó khăn về vùng chứa, cơ sở hạ tầng và mở rộng quy mô để các nhóm AI và dữ liệu có thể triển khai các mô hình và tác vụ hàng loạt trong vài phút.
Các nhà phát triển thường chạy mã trên Modal như thế nào?
Modal cho phép bạn xác định và chạy các hàm đám mây, kể cả trên GPU, bằng cách trang trí các hàm Python thông thường.
Vấn đề không có máy chủ nổi tiếng nào được Modal đặc biệt thiết kế để giải quyết?
Modal đã xây dựng thời gian chạy vùng chứa tùy chỉnh và hệ thống tệp tải từng phần để đạt được khả năng khởi động nguội dưới giây, một điểm khó khăn cổ điển của serverless.
Hóa đơn Modal được tính toán như thế nào?
Phí phương thức mỗi giây cho lượng điện toán thực tế tiêu thụ và có thể điều chỉnh tỷ lệ vùng chứa về 0 khi không hoạt động.
Ai là người đồng sáng lập Modal và được biết đến với các công cụ nguồn mở trước đó như Luigi và Annoy?
Modal được đồng sáng lập bởi Erik Bernhardsson, người trước đây được biết đến với việc xây dựng công cụ làm việc Luigi và Annoy của Spotify.
'Tỷ lệ về 0' có nghĩa là gì trên Modal?
Khi không có yêu cầu, Modal sẽ giảm quy mô xuống mức 0 vùng chứa đang chạy, do đó bạn không phải chịu chi phí điện toán cho đến khi lưu lượng truy cập quay trở lại.