What is Positional Encoding? Definition | AI Understanding

Definice

Informace přidané do vložení tokenů, aby transformátory mohly rozlišit pořadí sekvencí.

Související pojmy

RoPE (Rotary Positional Embeddings)

Metoda pozičního kódování, která otáčí dotazovací a klíčové vektory za účelem kódování relativních pozic tokenů.

Metoda pozičního zkreslení, která penalizuje skóre pozornosti na základě tokenové vzdálenosti a pomáhá modelům extrapolovat na delší kontexty.

Parametrově efektivní jemné doladění (PEFT)

Metody, které přizpůsobují modely trénováním malé podmnožiny přidaných parametrů.

AGI (obecná umělá inteligence)

Hypotetický systém umělé inteligence, který může provádět většinu intelektuálních úkolů na lidské úrovni v mnoha oblastech.

Softwarový systém, který dokáže pozorovat, uvažovat a podnikat kroky k dosažení cíle, často pomocí nástrojů a paměti.

Štítky nebo metadata přidaná člověkem k trénování nebo vyhodnocování modelů strojového učení.

Více se dozvíte v našich bezplatných průvodcích

Positional Interpolation for Long Context Instant-NGP Hash Encoding Byte-Pair Encoding Tokenization and Byte Pair Encoding

Viz také

Multi-Head Attention Flash Attention QLoRA Sliding Window Attention DPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of Thoughts SentencePiece

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI