개요
It bridges the gap between a model sitting in a notebook and a production service that can actually serve predictions over an API.
심층 분석
데이터 과학자가 모델 훈련을 마치고 모델을 프로덕션에 투입한다는 것은 일반적으로 제공 코드를 수동으로 작성하고, 종속성을 고정하고, Docker 이미지를 구축하고, API를 연결하는 것을 의미합니다. BentoML은 이를 자동화합니다. 모델을 로컬 모델 저장소에 저장한 다음 추론을 처리하도록 장식된 API 엔드포인트를 사용하여 서비스 클래스를 정의합니다. 'bentoml build' 명령은 모델, Python 코드, 종속성 버전 및 런타임 구성을 자체 포함된 버전의 Bento로 패키징합니다. 거기에서 'bentoml Containerize'가 OCI Docker 이미지를 생성합니다. BentoML은 거의 모든 프레임워크(PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX)를 지원하고, 들어오는 요청을 자동으로 그룹화하여 코드 변경 없이 GPU 처리량을 최대화하는 적응형 마이크로 배치를 추가합니다.
실제 구현
사기 탐지 팀은 XGBoost 모델을 BentoML 스토어에 저장하고 결제 서비스가 실시간으로 호출할 수 있도록 /predict REST 엔드포인트를 노출하는 Bento를 구축합니다.
ML 플랫폼 팀은 'bentoml 컨테이너화'를 사용하여 Hugging Face 감정 모델을 내부 Kubernetes 클러스터에 배포되는 Docker 이미지로 전환합니다.
한 스타트업에서는 OpenLLM(BentoML 기반)을 사용하여 미세 조정된 Llama 모델을 제공하고 GPU를 포화 상태로 유지하는 적응형 일괄 처리를 통해 채팅 UI에 토큰을 스트리밍합니다.
컴퓨터 비전 회사는 전처리 파이프라인과 함께 PyTorch 이미지 분류기를 하나의 Bento로 패키징하여 훈련에 사용되는 정확한 변환이 모델과 함께 제공되도록 합니다.
BentoML과 모델 패키징의 미래
BentoML은 스트리밍 토큰 응답, 자동 확장 및 GPU 인식 스케줄링을 제공하는 OpenLLM 및 BentoCloud를 통해 대규모 언어 모델 및 생성적 AI 서비스에 집중했습니다. vLLM 및 TensorRT-LLM과 같은 추론 최적화 프로그램과의 더 긴밀한 통합, 다중 모델 복합 AI 시스템에 대한 더 나은 지원, 패키지 Bento에서 서버리스 GPU 배포로의 더 원활한 경로를 기대하세요. 팀이 단일 모델에서 에이전트 파이프라인으로 이동함에 따라 BentoML은 이러한 구성 요소를 함께 묶는 패키징 및 제공 계층으로 자리매김하고 있습니다.
실천에 옮기기
왜 중요한가요?
- 비용 및 예산. 아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
- 더 명확한 결정들. 기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
- 품질 관리. 더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
조심하세요
- 하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
- 인프라 및 유지 관리 비용은 종종 과소평가됩니다.
- 시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
다음 단계
- 구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
- 현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
- 오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
- 확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the BentoML and Model Packaging quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
What is BentoML and Model Packaging?
BentoML은 학습된 기계 학습 모델을 'Bentos'라는 표준화되고 배포 가능한 단위로 패키징하는 오픈 소스 Python 프레임워크입니다. 이는 노트북에 있는 모델과 실제로 API를 통해 예측을 제공할 수 있는 프로덕션 서비스 사이의 격차를 해소합니다.
BentoML이 생산하는 표준화되고 배포 가능한 단위는 무엇입니까?
BentoML은 모델, 해당 코드, 종속성 및 런타임 구성을 Bento라는 버전이 지정된 자체 포함 단위로 패키징합니다.
BentoML의 적응형 마이크로 배치는 주로 무엇을 개선합니까?
적응형 일괄 처리는 런타임에 들어오는 요청을 그룹화하여 GPU를 계속 사용하고 코드 변경 없이 처리량을 최대화합니다.
In BentoML 1.1’s Runner-based architecture, what handles compute-heavy model execution separately from API logic?
BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.
빌드된 Bento를 OCI Docker 이미지로 바꾸는 명령은 무엇입니까?
'bentoml Containerize'는 배포용 Bento에서 표준 OCI/Docker 이미지를 생성합니다.
다음 중 BentoML이 Bento에 종속성 버전을 삽입하는 주요 이유는 무엇입니까?
환경을 고정하고 포함하면 패키지된 서비스가 실행될 때마다 재현 가능하고 일관성이 있게 됩니다.