Istilah Glosarium AI

Apa itu AliBi?

Definisi

Metode bias posisional yang memberikan penalti pada skor perhatian berdasarkan jarak tertentu, membantu model melakukan ekstrapolasi ke konteks yang lebih panjang.

Istilah terkait

Tali (Penyematan Posisi Putar)
Metode pengkodean posisi yang memutar kueri dan vektor kunci untuk mengkodekan posisi token relatif.
Pengkodean Posisi
Informasi ditambahkan ke penyematan token sehingga transformator dapat membedakan urutan urutan.
Perhatian Jendela Geser
Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.
Bias Algoritmik
Ketidakadilan sistematis dalam keluaran model yang disebabkan oleh ketidakseimbangan data, asumsi, atau pilihan pemodelan.
Mekanisme Perhatian
Komponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.
Bias
Pola kesalahan atau ketidakadilan yang konsisten dalam data atau perilaku model.

Pelajari lebih lanjut di panduan gratis kami

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis