AI 용어집

추론 끝점(이)란?

정의

모델 요청을 수신하고 프로덕션에서 예측을 반환하는 배포된 API 인터페이스입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

API(애플리케이션 프로그래밍 인터페이스)한 소프트웨어 시스템이 다른 시스템에 요청을 보내고 응답을 받는 구조화된 방식입니다.추론훈련된 모델이 예측 또는 출력을 생성하는 런타임 단계입니다.사용량 기반 청구API 호출, 토큰, 추론 시간 또는 소비된 컴퓨팅에 따라 비용이 조정되는 가격입니다.추론 시간 계산각 응답을 생성하는 동안 소비된 처리 능력의 양입니다.의사결정 트리일련의 if-then 특성 분할을 통해 예측을 수행하는 모델입니다.앙상블여러 모델의 예측을 결합하여 견고성이나 정확성을 향상합니다.

무료 가이드에서 자세히 알아보세요

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

또한보십시오

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI