Mi az Spekulatív dekódolás?

Árképzés, ahol a költségek skálázódnak API-hívásokkal, tokenekkel, következtetési idővel vagy felhasznált számítással.

Figyelembe vételi minta, amelyben minden token csak a közeli tokenek fix méretű ablakát veszi figyelembe, hogy csökkentse a számítást.

Az a futásidejű fázis, amelyben egy betanított modell előrejelzéseket vagy kimeneteket generál.

Olyan módszer, amely a külső tudást visszakeresi, és azt a következtetés idején generálja.

Dekódolási stratégia, amely csak a k legvalószínűbb következő tokenből vesz mintát.

Egy kisebb modell egy nagyobb modell viselkedésének utánzására lett kiképezve, miközben kevesebb számítást használ a következtetéshez.