ความสนใจในการเปิดตัวและการตัดแต่งกิ่ง

Head pruning removes attention heads that contribute little, shrinking models without hurting accuracy. Together they help us interpret and compress Transformers.

ทรานส์ฟอร์มเมอร์สกระจายเหตุผลของพวกเขาไปยังหัวความสนใจจำนวนมากในหลายชั้น ดังนั้นแผนที่ความสนใจของชั้นเดียวจึงไม่ค่อยบอกเล่าเรื่องราวทั้งหมดได้ การเปิดตัว Attention ซึ่งเปิดตัวโดย Abnar และ Zuidema ในปี 2020 แก้ไขปัญหานี้ด้วยการคูณเมทริกซ์ความสนใจทีละชั้น (หลังจากพิจารณาการเชื่อมต่อที่เหลือ) เพื่อประมาณจำนวนโทเค็นอินพุตแต่ละรายการในท้ายที่สุดที่ส่งผลต่อโทเค็นเอาต์พุตที่กำหนด แยกการวิจัยเช่นมิเชลและเพื่อนร่วมงาน 'สิบหกหัวดีกว่าหัวเดียวจริงหรือ' แสดงให้เห็นว่าหัวจำนวนมากมีความซ้ำซ้อน: เศษส่วนขนาดใหญ่สามารถตัดออกได้ในเวลาอนุมานโดยสูญเสียความแม่นยำเล็กน้อย การตัดส่วนหัวจะจัดอันดับส่วนหัวตามความสำคัญ โดยมักใช้คะแนนความไวตามการไล่ระดับสี จากนั้นจึงปิดบังส่วนหัวที่มีประโยชน์น้อยที่สุด เทคนิคทั้งสองเป็นส่วนเสริม: การเปิดตัวเผยให้เห็นว่าส่วนใดของเครือข่ายมีความสำคัญสำหรับการตีความ และการตัดส่วนที่ซ้ำซ้อนเพื่อทำให้แบบจำลองมีขนาดเล็กลงและเร็วขึ้น