Hva er Bruksbasert fakturering?

Mengden prosessorkraft som forbrukes mens du produserer hver respons.

Ytterligere slutningsberegning brukt under generering av respons for å forbedre kvalitet eller resonnement.

En inferensakselerasjonsmetode der et lite utkast til modell foreslår tokens som en større modell verifiserer parallelt.

Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.

Kjøretidsfasen der en trent modell genererer spådommer eller utdata.

En metode som henter ekstern kunnskap og mater den inn i generering på slutningstidspunkt.