Kertas Menemui Lapisan Lewat Model Campuran Pakar Bertolak ansur dengan Masking Pakar Berat
Pracetak melaporkan bahawa melumpuhkan pakar magnitud rendah dalam lima lapisan terakhir model Campuran Pakar 35 bilion parameter mengekalkan output terjemahan kod yang jauh lebih boleh digunakan daripada menyebarkan potongan yang sama pada semua lapisan. Ia meliputi satu model dan satu penanda aras, dan laporan abstrak tiada garis dasar yang didedahkan.