Co je to Pozor na posuvné okno? Definice | AI Understanding

Definice

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.

Související pojmy

Prořezávání

Odstranění méně důležitých závaží modelu nebo neuronů pro snížení velikosti a výpočtu.

Fakturace podle použití

Ceny, kde se náklady škálují pomocí volání API, tokenů, doby odvození nebo spotřebovaného výpočtu.

Zákon o škálování

Empirický vztah ukazující, jak se výkon zlepšuje s velikostí modelu, daty nebo výpočtem.

Model, kde je mnoho parametrů nulových nebo neaktivních, aby se omezil výpočet.

Spekulativní dekódování

Metoda zrychlení inference, kdy malý koncept modelu navrhuje tokeny, které větší model ověřuje paralelně.

Kontextové okno

Maximální množství vstupních tokenů, které jazykový model dokáže zpracovat najednou.

Více se dozvíte v našich bezplatných průvodcích

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Viz také

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI