AI szószedet kifejezés

Mi az ALiBi?

Meghatározás

Pozíciós torzítási módszer, amely a token távolság alapján bünteti a figyelem pontszámait, és segít a modelleknek hosszabb összefüggésekre extrapolálni.

Kapcsolódó kifejezések

Kötél (forgó pozíciós beágyazások)
Helyzetkódolási módszer, amely elforgatja a lekérdezést és a kulcsvektorokat a relatív token pozíciók kódolásához.
Pozíciós kódolás
A token beágyazásokhoz hozzáadott információ, hogy a transzformátorok meg tudják különböztetni a sorrendet.
Tolóablak Figyelem
Figyelembe vételi minta, amelyben minden token csak a közeli tokenek fix méretű ablakát veszi figyelembe, hogy csökkentse a számítást.
Algoritmikus torzítás
A modellkimenetek szisztematikus méltánytalansága, amelyet ferde adatok, feltételezések vagy modellezési választások okoznak.
Figyelem Mechanizmus
Modellkomponens, amely dinamikusan fókuszál a bemenet releváns részeire, amikor kimenetet állít elő.
Elfogultság
Konzisztens hiba vagy tisztességtelen minta az adatok vagy a modell viselkedésében.

Tudjon meg többet ingyenes útmutatóinkból

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Böngésszen a teljes AI szószedetbenFedezze fel az összes ingyenes AI-útmutatót