Vad är Spekulativ avkodning?

Prissättning där kostnaderna skalas med API-anrop, tokens, slutledningstid eller förbrukad beräkning.

Ett uppmärksamhetsmönster där varje token endast tar hand om ett fönster med fast storlek av närliggande tokens för att minska beräkningen.

Körtidsfasen där en tränad modell genererar förutsägelser eller utdata.

En metod som hämtar extern kunskap och matar in den i generering vid slutledningstidpunkten.

En avkodningsstrategi som endast samplar från de k mest sannolika nästa tokens.

En mindre modell tränad att imitera en större modells beteende samtidigt som man använder mindre beräkning vid slutledning.