Mi az Használat alapú számlázás?

Az egyes válaszok előállítása során felhasznált feldolgozási teljesítmény mennyisége.

A válaszgenerálás során a minőség vagy az érvelés javítása érdekében használt további következtetési számítások.

Következtetési gyorsítási módszer, ahol egy kis vázlatmodell tokeneket javasol, amelyeket egy nagyobb modell párhuzamosan ellenőriz.

Figyelembe vételi minta, amelyben minden token csak a közeli tokenek fix méretű ablakát veszi figyelembe, hogy csökkentse a számítást.

Az a futásidejű fázis, amelyben egy betanított modell előrejelzéseket vagy kimeneteket generál.

Olyan módszer, amely a külső tudást visszakeresi, és azt a következtetés idején generálja.