Mi az Metszés?

Figyelembe vételi minta, amelyben minden token csak a közeli tokenek fix méretű ablakát veszi figyelembe, hogy csökkentse a számítást.

Egy empirikus kapcsolat, amely megmutatja, hogyan javul a teljesítmény a modell méretével, adataival vagy számításaival.

Egy kisebb modell egy nagyobb modell viselkedésének utánzására lett kiképezve, miközben kevesebb számítást használ a következtetéshez.

Az alapvető betanítási algoritmus, amely frissíti a modell súlyait az előrejelzési hibáknak a hálózaton keresztül történő visszafelé terjesztésével.

A modellek betanításához és futtatásához szükséges feldolgozási erőforrások, gyakran FLOPS vagy GPU órákban mérve.

Egy vektor, amely megmutatja, hogy az egyes paramétereknek mennyit kell változniuk a veszteség csökkentése érdekében.