What is BPE (Byte Pair Encoding)? Definition | AI Understanding

Tanım

En sık görülen karakter çiftlerini yeniden kullanılabilir belirteçler halinde birleştiren bir alt sözcük belirleme algoritması.

İlgili terimler

Model girişi için metni belirteçlere bölme işlemi.

OCR (Optik Karakter Tanıma)

Görüntülerdeki veya taramalardaki metni makine tarafından okunabilir metne dönüştüren teknoloji.

Top-k Örnekleme

Yalnızca büyük olasılıkla sonraki k jetondan örnek alan bir kod çözme stratejisi.

Tahmin hatalarını ağ üzerinden geriye doğru yayarak model ağırlıklarını güncelleyen temel eğitim algoritması.

Çift Kodlayıcı

Sorguları ve belgeleri ayrı vektörler halinde kodlayarak bunların ölçekte hızlı bir şekilde karşılaştırılabilmesini sağlayan bir model.

Daha yüksek olasılıklı çıktılar bulmak için her adımda en üstteki birkaç aday diziyi tutan bir kod çözme algoritması.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

ByteDance Doubao CycleGAN Unpaired Translation Tokenizer-Free Byte-Level Models Instant-NGP Hash Encoding

See also

Sliding Window Attention SentencePiece ALiBi ANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSW Positional Encoding Reranker

Yapay Zeka Sözlüğünün tamamına göz atın Tüm ücretsiz AI kılavuzlarını keşfedin