Nedir Budama?

İşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.

Performansın model boyutu, veriler veya bilgi işlemle nasıl arttığını gösteren ampirik bir ilişki.

Çıkarımda daha az işlem kullanırken daha büyük bir modelin davranışını taklit etmek üzere eğitilmiş daha küçük bir model.

Tahmin hatalarını ağ üzerinden geriye doğru yayarak model ağırlıklarını güncelleyen temel eğitim algoritması.

Modelleri eğitmek ve çalıştırmak için gereken işlem kaynakları, genellikle FLOPS veya GPU saatleri cinsinden ölçülür.

Kaybı azaltmak için her parametrenin ne kadar değişmesi gerektiğini gösteren bir vektör.