추론 시간 계산(이)란? 정의 | AI Understanding

정의

각 응답을 생성하는 동안 소비된 처리 능력의 양입니다.

관련 용어

테스트 시간 컴퓨팅

품질이나 추론을 개선하기 위해 응답 생성 중에 사용되는 추가 추론 계산입니다.

사용량 기반 청구

API 호출, 토큰, 추론 시간 또는 소비된 컴퓨팅에 따라 비용이 조정되는 가격입니다.

증류된 모델

추론 시 더 적은 컴퓨팅을 사용하면서 더 큰 모델의 동작을 모방하도록 훈련된 더 작은 모델입니다.

모델을 훈련하고 실행하는 데 필요한 처리 리소스는 FLOPS 또는 GPU 시간으로 측정되는 경우가 많습니다.

RAG(검색-증강 생성)

추론 시 외부 지식을 검색하여 생성에 제공하는 방법입니다.

시스템을 보다 안전하고 제어하기 쉽게 만드는 데 필요한 시간, 컴퓨팅 또는 제품 속도의 추가 비용입니다.

무료 가이드에서 자세히 알아보세요

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

또한보십시오

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기