What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

Meghatározás

Helyzetkódolási módszer, amely elforgatja a lekérdezést és a kulcsvektorokat a relatív token pozíciók kódolásához.

Kapcsolódó kifejezések

Pozíciós kódolás

A token beágyazásokhoz hozzáadott információ, hogy a transzformátorok meg tudják különböztetni a sorrendet.

Pozíciós torzítási módszer, amely a token távolság alapján bünteti a figyelem pontszámait, és segít a modelleknek hosszabb összefüggésekre extrapolálni.

Egy lekérdezési módszer, amely több lekérdezési változatot generál, mindegyikhez lekéri az eredményeket, és egyesíti a rangsorokat.

ANN (Hozzávetőleges legközelebbi szomszéd)

Algoritmusok, amelyek a lekérdezéshez közeli vektorokat találnak kimerítő összehasonlítás nélkül, pontosságot keresve a sebességért.

RAG (Retrieval-Augmented Generation)

Olyan módszer, amely a külső tudást visszakeresi, és azt a következtetés idején generálja.

Megerősítő tanulás az emberi visszajelzésből (RLHF)

Olyan képzési módszer, amely emberi preferencia jeleket használ a modell viselkedésének alakítására.

Tudjon meg többet ingyenes útmutatóinkból

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

See also

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót