Vad är Användningsbaserad fakturering?

Mängden processorkraft som förbrukas när varje svar produceras.

Ytterligare slutledningsberäkning som används under svarsgenerering för att förbättra kvalitet eller resonemang.

En inferensaccelerationsmetod där ett litet utkast till modell föreslår tokens som en större modell verifierar parallellt.

Ett uppmärksamhetsmönster där varje token endast tar hand om ett fönster med fast storlek av närliggande tokens för att minska beräkningen.

Körtidsfasen där en tränad modell genererar förutsägelser eller utdata.

En metod som hämtar extern kunskap och matar in den i generering vid slutledningstidpunkten.