AI Ordliste Term

Hva er RoPE (Rotary Positional Embeddings)?

Definisjon

En posisjonell kodingsmetode som roterer spørrings- og nøkkelvektorer for å kode relative tokenposisjoner.

Relaterte vilkår

Posisjonell koding
Informasjon lagt til token-innbygging slik at transformatorer kan skille rekkefølgen.
Alibi
En posisjonell skjevhetsmetode som straffer oppmerksomhetsscore basert på symbolsk avstand, og hjelper modeller med å ekstrapolere til lengre sammenhenger.
RAG-Fusion
En gjenfinningsmetode som genererer flere søkevarianter, henter resultater for hver og slår sammen rangeringene.
ANN (omtrentlig nærmeste nabo)
Algoritmer som finner vektorer nær en spørring uten uttømmende sammenligning, bytter nøyaktighet for hastighet.
RAG (Retrieval-Augmented Generation)
En metode som henter ekstern kunnskap og mater den inn i generering på slutningstidspunkt.
Forsterkende læring fra menneskelig tilbakemelding (RLHF)
En treningsmetode som bruker menneskelige preferansesignaler for å forme modellatferd.

Lær mer i våre gratis guider

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Se også

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider