Termín glosář AI

Co je Spekulativní dekódování?

Definice

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.