Termine del glossario AI
Che cos’è Decodifica speculativa?
Definizione
Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.
Termine del glossario AI
Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.