SpikeOPD, seyrek artışlı dil modelleri için geliştirilmiş doğruluğu bildirdi
Yeni bir arXiv ön baskısı, otoregresif spike dil modelleri için bir damıtma yöntemi olan SpikeOPD'yi önermektedir. Yazarlar, öğrencilerin seyrek hesaplama profillerini korurken, üç model ölçeğinde ortalama 0,8, 1,7 ve 2,9 puanlık doğruluk kazanımları rapor ediyor.