co je Fakturace podle použití?

Množství výpočetního výkonu spotřebovaného při vytváření každé odpovědi.

Další inferenční výpočet používaný během generování odezvy ke zlepšení kvality nebo uvažování.

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.

Fáze běhu, kdy trénovaný model generuje předpovědi nebo výstupy.

Metoda, která získává externí znalosti a dodává je do generace v době odvození.