What is Inference Endpoint? Definition | AI Understanding

정의

모델 요청을 수신하고 프로덕션에서 예측을 반환하는 배포된 API 인터페이스입니다.

관련 용어

API(애플리케이션 프로그래밍 인터페이스)

한 소프트웨어 시스템이 다른 시스템에 요청을 보내고 응답을 받는 구조화된 방식입니다.

훈련된 모델이 예측 또는 출력을 생성하는 런타임 단계입니다.

사용량 기반 청구

API 호출, 토큰, 추론 시간 또는 소비된 컴퓨팅에 따라 비용이 조정되는 가격입니다.

추론 시간 계산

각 응답을 생성하는 동안 소비된 처리 능력의 양입니다.

의사결정 트리

일련의 if-then 특성 분할을 통해 예측을 수행하는 모델입니다.

여러 모델의 예측을 결합하여 견고성이나 정확성을 향상합니다.

무료 가이드에서 자세히 알아보세요

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

See also

Human Preference Model Knowledge Base Guarded Decoding Latent Space Groundedness Model Registry Feature Store On-Device AI

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기