Termine del glossario AI

Cos'è Inferenza?

Definizione

La fase di runtime in cui un modello addestrato genera previsioni o output.

Termini correlati

Endpoint di inferenza
Un'interfaccia API distribuita che riceve richieste di modello e restituisce previsioni in produzione.
L'Essere umano nel Loop
Un flusso di lavoro in cui gli esseri umani esaminano, guidano o sovrascrivono gli output dell'intelligenza artificiale.
L’intelligenza artificiale costituzionale
Un approccio di formazione e modellamento del comportamento in cui i risultati del modello sono guidati da un insieme fisso di principi scritti.
Modello distillato
Un modello più piccolo addestrato per imitare il comportamento di un modello più grande utilizzando meno calcolo durante l'inferenza.
Fatturazione basata sull'utilizzo
Prezzi in cui i costi aumentano in base alle chiamate API, ai token, al tempo di inferenza o al calcolo consumato.
Decodifica speculativa
Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.

Scopri di più nelle nostre guide gratuite

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Vedi anche

In-Context LearningInference-Time ComputeHyperparameterInstruction TuningIntent ClassificationHallucinationJailbreakGuardrails
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale