กระดาษค้นหาชั้นหลังของโมเดลแบบผสมผสานของผู้เชี่ยวชาญที่ทนทานต่อการปิดบังโดยผู้เชี่ยวชาญจำนวนมาก
รายงานก่อนพิมพ์ระบุว่าการปิดใช้งานผู้เชี่ยวชาญที่มีขนาดต่ำในห้าเลเยอร์สุดท้ายของโมเดล Mixture-of-Experts ที่มีพารามิเตอร์ 35 พันล้านพารามิเตอร์ จะรักษาเอาต์พุตการแปลโค้ดที่ใช้งานได้มากกว่าการกระจายการตัดแบบเดียวกันในทุกเลเยอร์ โดยครอบคลุมหนึ่งโมเดลและหนึ่งเกณฑ์มาตรฐาน และบทคัดย่อรายงานว่าไม่มีข้อมูลพื้นฐานที่ไม่เปิดเผย