Yapay Zeka Sözlüğü Terimi

Sürgülü Pencere Dikkat nedir?

Tanım

İşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

BudamaBoyutu ve hesaplamayı azaltmak için daha az önemli model ağırlıklarının veya nöronların kaldırılması.Kullanıma Dayalı FaturalandırmaMaliyetlerin API çağrıları, belirteçler, çıkarım süresi veya tüketilen bilgi işlem ile ölçeklendiği fiyatlandırma.Ölçekleme KanunuPerformansın model boyutu, veriler veya bilgi işlemle nasıl arttığını gösteren ampirik bir ilişki.Seyrek ModelHesaplamayı azaltmak için birçok parametrenin sıfır olduğu veya etkin olmadığı bir model.Spekülatif Kod ÇözmeKüçük bir taslak modelin, daha büyük bir modelin paralel olarak doğruladığı belirteçleri önerdiği bir çıkarım hızlandırma yöntemi.Bağlam PenceresiBir dil modelinin aynı anda işleyebileceği maksimum giriş belirteci miktarı.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Ayrıca bakınız

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW