Co je RoPE (Rotary Positional Embeddings)? Definice | AI Understanding

Definice

Metoda pozičního kódování, která otáčí dotazovací a klíčové vektory za účelem kódování relativních pozic tokenů.

Související pojmy

Poziční kódování

Informace přidané do vložení tokenů, aby transformátory mohly rozlišit pořadí sekvencí.

Metoda pozičního zkreslení, která penalizuje skóre pozornosti na základě tokenové vzdálenosti a pomáhá modelům extrapolovat na delší kontexty.

Metoda vyhledávání, která generuje více variant dotazů, načítá výsledky pro každou z nich a spojuje hodnocení.

ANN (Přibližný nejbližší soused)

Algoritmy, které najdou vektory blízko dotazu bez vyčerpávajícího porovnávání, střídající přesnost za rychlost.

RAG (generace rozšířeného vyhledávání)

Metoda, která získává externí znalosti a dodává je do generace v době odvození.

Posílení učení z lidské zpětné vazby (RLHF)

Tréninková metoda, která využívá signály lidských preferencí k formování chování modelu.

Více se dozvíte v našich bezplatných průvodcích

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

Viz také

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI