AI Ordlista Term

Vad är Positionell kodning?

Definition

Information läggs till tokeninbäddningar så att transformatorer kan urskilja sekvensordning.

Relaterade termer

RoPE (Rotary Positional Embeddings)
En positionskodningsmetod som roterar fråge- och nyckelvektorer för att koda relativa tokenpositioner.
ALiBi
En positionell bias-metod som straffar uppmärksamhetspoäng baserat på symboliskt avstånd, vilket hjälper modeller att extrapolera till längre sammanhang.
Parametereffektiv finjustering (PEFT)
Metoder som anpassar modeller genom att träna en liten delmängd av tillagda parametrar.
AGI (Artificiell allmän intelligens)
Ett hypotetiskt AI-system som kan utföra de flesta intellektuella uppgifter på mänsklig nivå över många domäner.
AI-agent
Ett mjukvarusystem som kan observera, resonera och vidta åtgärder för att uppnå ett mål, ofta med hjälp av verktyg och minne.
Anteckning
Människotillagda etiketter eller metadata som används för att träna eller utvärdera maskininlärningsmodeller.

Läs mer i våra kostnadsfria guider

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

See also

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider