Istilah Glosari AI

Apakah ALiBi?

Definisi

Kaedah berat sebelah kedudukan yang menghukum skor perhatian berdasarkan jarak token, membantu model mengekstrapolasi kepada konteks yang lebih panjang.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

RoPE (Pembenaman Kedudukan Putar)Kaedah pengekodan kedudukan yang memutarkan pertanyaan dan vektor kunci untuk mengekod kedudukan token relatif.Pengekodan KedudukanMaklumat ditambahkan pada pembenaman token supaya transformer boleh membezakan susunan jujukan.Perhatian Tingkap GelongsorCorak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.Bias AlgoritmaKetidakadilan sistematik dalam output model yang disebabkan oleh data yang condong, andaian atau pilihan pemodelan.Mekanisme PerhatianKomponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.berat sebelahCorak kesilapan atau ketidakadilan yang konsisten dalam data atau tingkah laku model.

Ketahui lebih lanjut dalam panduan percuma kami

ALiBi Position Bias

Lihat juga

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)