What is Sliding Window Attention? Definition | AI Understanding

Meghatározás

Figyelembe vételi minta, amelyben minden token csak a közeli tokenek fix méretű ablakát veszi figyelembe, hogy csökkentse a számítást.

Kapcsolódó kifejezések

A kevésbé fontos modellsúlyok vagy neuronok eltávolítása a méret csökkentése és a számítás érdekében.

Használat alapú számlázás

Árképzés, ahol a költségek skálázódnak API-hívásokkal, tokenekkel, következtetési idővel vagy felhasznált számítással.

Méretezési törvény

Egy empirikus kapcsolat, amely megmutatja, hogyan javul a teljesítmény a modell méretével, adataival vagy számításaival.

Olyan modell, amelyben sok paraméter nulla vagy inaktív a számítás csökkentése érdekében.

Spekulatív dekódolás

Következtetési gyorsítási módszer, ahol egy kis vázlatmodell tokeneket javasol, amelyeket egy nagyobb modell párhuzamosan ellenőriz.

Kontextus ablak

A nyelvi modell által egyszerre feldolgozható beviteli tokenek maximális száma.

Tudjon meg többet ingyenes útmutatóinkból

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót