What is Inference-Time Compute? Definition | AI Understanding

Definitie

De hoeveelheid verwerkingskracht die wordt verbruikt bij het produceren van elk antwoord.

Gerelateerde termen

Testtijd berekenen

Aanvullende gevolgtrekkingsberekening die wordt gebruikt tijdens het genereren van antwoorden om de kwaliteit of redenering te verbeteren.

Op gebruik gebaseerde facturering

Prijzen waarbij de kosten worden geschaald met API-aanroepen, tokens, inferentietijd of verbruikte rekenkracht.

Gedistilleerd model

Een kleiner model dat is getraind om het gedrag van een groter model te imiteren en tegelijkertijd minder rekenkracht te gebruiken bij gevolgtrekking.

De verwerkingsbronnen die nodig zijn om modellen te trainen en uit te voeren, vaak gemeten in FLOPS- of GPU-uren.

RAG (Retrieval-Augmented Generation)

Een methode die externe kennis ophaalt en deze op het moment van inferentie in de generatie invoert.

Afstemmingsbelasting

De extra kosten in tijd, rekenkracht of productsnelheid die nodig zijn om systemen veiliger en beter controleerbaar te maken.

Lees meer in onze gratis handleidingen

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

See also

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Blader door de volledige AI-woordenlijst Ontdek alle gratis AI-gidsen