Istilah Glosari AI

Apa itu ALiBi?

Definisi

Kaedah berat sebelah kedudukan yang menghukum skor perhatian berdasarkan jarak token, membantu model mengekstrapolasi kepada konteks yang lebih panjang.

Istilah berkaitan

RoPE (Pembenaman Kedudukan Putar)
Kaedah pengekodan kedudukan yang memutarkan pertanyaan dan vektor kunci untuk mengekod kedudukan token relatif.
Pengekodan Kedudukan
Maklumat ditambahkan pada pembenaman token supaya transformer boleh membezakan susunan jujukan.
Perhatian Tingkap Gelongsor
Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.
Bias Algoritma
Ketidakadilan sistematik dalam output model yang disebabkan oleh data yang condong, andaian atau pilihan pemodelan.
Mekanisme Perhatian
Komponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.
berat sebelah
Corak kesilapan atau ketidakadilan yang konsisten dalam data atau tingkah laku model.

Ketahui lebih lanjut dalam panduan percuma kami

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Semak imbas Glosari AI penuhTerokai semua panduan AI percuma