AI Ordliste Term

Hva er Alibi?

Definisjon

En posisjonell skjevhetsmetode som straffer oppmerksomhetsscore basert på symbolsk avstand, og hjelper modeller med å ekstrapolere til lengre sammenhenger.

Relaterte vilkår

RoPE (Rotary Positional Embeddings)
En posisjonell kodingsmetode som roterer spørrings- og nøkkelvektorer for å kode relative tokenposisjoner.
Posisjonell koding
Informasjon lagt til token-innbygging slik at transformatorer kan skille rekkefølgen.
Skyvevindu oppmerksomhet
Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.
Algoritmisk skjevhet
Systematisk urettferdighet i modellutdata forårsaket av skjeve data, antakelser eller modelleringsvalg.
Oppmerksomhetsmekanisme
En modellkomponent som dynamisk fokuserer på relevante deler av en input når den produserer en output.
Bias
Et konsekvent mønster av feil eller urettferdighet i data eller modellatferd.

Lær mer i våre gratis guider

ALiBi Position Bias

Se også

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider