학습 뉴스 도구 채용 미션

AI 용어집

추론(이)란?

정의

훈련된 모델이 예측 또는 출력을 생성하는 런타임 단계입니다.

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기

추론 끝점모델 요청을 수신하고 프로덕션에서 예측을 반환하는 배포된 API 인터페이스입니다.인간 참여형인간이 AI 출력을 검토, 안내 또는 재정의하는 워크플로입니다.헌법 AI모델 출력이 고정된 서면 원칙 세트에 따라 안내되는 교육 및 행동 형성 접근 방식입니다.증류된 모델추론 시 더 적은 컴퓨팅을 사용하면서 더 큰 모델의 동작을 모방하도록 훈련된 더 작은 모델입니다.사용량 기반 청구API 호출, 토큰, 추론 시간 또는 소비된 컴퓨팅에 따라 비용이 조정되는 가격입니다.추측적 디코딩작은 초안 모델이 더 큰 모델이 병렬로 검증하는 토큰을 제안하는 추론 가속화 방법입니다.

무료 가이드에서 자세히 알아보세요

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

또한보십시오

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails