የተዋቀረ መከርከም እና ንብርብር መጣል

Layer dropping is the most aggressive version, deleting full transformer blocks to shrink depth.

ያልተዋቀረ መግረዝ የግለሰብ ክብደትን ዜሮ ያደርገዋል፣ ነገር ግን በተበታተኑ ዜሮዎች የተሞላ ማትሪክስ አሁንም በጂፒዩዎች ላይ በሙሉ ፍጥነት ይሰራል ምክንያቱም ሃርድዌሩ አይዘልላቸውም። የተቀናበረ መግረዝ በምትኩ ወጥነት ያላቸው ብሎኮችን፣ ሙሉ ትኩረትን የሚስቡ ጭንቅላትን፣ ምግብን ወደፊት የሚያስተላልፉ የነርቭ ሴሎችን፣ ቻናሎችን ወይም ሙሉ ሽፋኖችን ያስወግዳል፣ ይህም በትክክል ተንከሮቹን የሚቀንስ እና ያለ ልዩ ጠንከር ያለ ከርነሎች እውነተኛ ፍጥነትን ይሰጣል። የንብርብር መውደቅ ይህንን የበለጠ ይገፋፋል፡ እንደ LayerDrop ያሉ ጥናቶች እና በኋላ ላይ በጥልቀት የመቁረጥ ስራ እንደሚያሳየው ብዙ ትራንስፎርመር ንብርብሮች በተለይም በመሃል እና በላይኛው ቁልል በሚያስደንቅ ሁኔታ ከመጠን በላይ ናቸው። ብዙ ጊዜ ከ20 እስከ 40 በመቶ የሚሆኑ ንብርብሮችን መሰረዝ እና አብዛኛውን የጠፋውን ትክክለኛነት በአጭር ዙር በጥሩ ማስተካከያ ወይም በእውቀት ማጣራት ማግኘት ይችላሉ። አስፈላጊነት የሚለካው በንብርብር ግብዓት እና ውፅዓት (ውክልናውን ምን ያህል እንደሚቀይር) መካከል ባለው የማዕዘን ርቀት ባሉ መለኪያዎች ነው።