Istilah Glosarium AI

Apa itu AliBi?

Definisi

Metode bias posisional yang memberikan penalti pada skor perhatian berdasarkan jarak tertentu, membantu model melakukan ekstrapolasi ke konteks yang lebih panjang.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Tali (Penyematan Posisi Putar)Metode pengkodean posisi yang memutar kueri dan vektor kunci untuk mengkodekan posisi token relatif.Pengkodean PosisiInformasi ditambahkan ke penyematan token sehingga transformator dapat membedakan urutan urutan.Perhatian Jendela GeserPola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.Bias AlgoritmikKetidakadilan sistematis dalam keluaran model yang disebabkan oleh ketidakseimbangan data, asumsi, atau pilihan pemodelan.Mekanisme PerhatianKomponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.BiasPola kesalahan atau ketidakadilan yang konsisten dalam data atau perilaku model.

Pelajari lebih lanjut di panduan gratis kami

ALiBi Position Bias

Lihat juga

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)