AI 추론

요청은 일반적으로 입력 유효성 검사, 전처리, 모델 및 출력 처리를 거칩니다. 텍스트 서비스는 프롬프트를 토큰화하고, 모델을 반복적으로 실행하여 토큰을 생성하고, 응답을 조합할 수 있습니다. 검색 및 외부 도구를 사용하면 모델 주위에 더 많은 단계를 추가할 수 있습니다. 사용자의 시간과 오류는 사용자 경험에 반영됩니다. 대기 시간과 처리량을 별도로 측정합니다. 지연 시간은 요청 하나에 걸리는 시간입니다. 처리량은 일정 기간 동안 시스템이 완료하는 요청 수입니다. 요청을 일괄 처리하면 처리량이 향상되는 동시에 개별 요청에 대한 대기 시간이 늘어날 수 있습니다. 스트리밍을 사용하면 답변을 완료하는 데 필요한 시간을 줄이지 않고도 답변을 더 빨리 시작할 수 있습니다. 하드웨어 메모리는 모델 무게보다 더 많은 무게를 수용해야 합니다. 작업 버퍼, 동시 요청 및 캐시된 표현도 메모리를 소비합니다. 입력 및 출력이 길어지면 서비스 비용이 변경될 수 있으므로 짧은 데모 프롬프트 대신 실제 작업 부하 분산을 테스트하세요. 추론 배포에는 모델이 응답할 수 없는 경우 제한, 시간 초과 및 사용 가능한 응답이 필요합니다. 버전이 지정된 평가 세트를 유지하고 정밀도, 일괄 처리, 모델 버전 또는 전처리를 변경한 후 출력을 비교합니다. 최적화는 작업에 필요한 품질을 유지하는 경우에만 유용합니다.