Vad är Slutledning?

Ett utrullat API-gränssnitt som tar emot modellförfrågningar och returnerar förutsägelser i produktion.

Ett arbetsflöde där människor granskar, vägleder eller åsidosätter AI-utdata.

Ett tränings- och beteendeformande tillvägagångssätt där modellens resultat styrs av en fast uppsättning skrivna principer.

En mindre modell tränad att imitera en större modells beteende samtidigt som man använder mindre beräkning vid slutledning.

Prissättning där kostnaderna skalas med API-anrop, tokens, slutledningstid eller förbrukad beräkning.

En inferensaccelerationsmetod där ett litet utkast till modell föreslår tokens som en större modell verifierar parallellt.