เลเยอร์อะแดปเตอร์สำหรับการถ่ายโอน

They make fine-tuning cheap, modular, and easy to swap.

อะแดปเตอร์ ได้รับความนิยมโดย Houlsby และคณะ (2019) สำหรับการถ่ายโอนการเรียนรู้ใน NLP แก้ไขปัญหาที่มีค่าใช้จ่ายสูง: การปรับแต่งแบบละเอียดจะอัปเดตทุกน้ำหนักในแบบจำลองขนาดใหญ่และสร้างสำเนาใหม่ทั้งหมดต่องาน อะแดปเตอร์จะแทรกเครือข่ายคอขวดเล็กๆ ลงในแต่ละบล็อกของหม้อแปลงแทน ซึ่งโดยทั่วไปจะเป็นการฉายภาพลงในมิติต่ำ ความไม่เชิงเส้น และการฉายภาพขึ้นด้านหลัง ซึ่งห่อหุ้มด้วยการเชื่อมต่อที่เหลือ ในระหว่างการฝึก ตุ้มน้ำหนักที่ฝึกไว้เดิมจะยังคงค้างอยู่ เรียนรู้เฉพาะอะแดปเตอร์ (มักจะต่ำกว่า 5% ของพารามิเตอร์ทั้งหมด) ซึ่งให้คุณภาพการปรับแต่งที่ใกล้เคียงเต็มประสิทธิภาพบนการวัดประสิทธิภาพ เช่น GLUE ในขณะที่ฝึกฝนพารามิเตอร์น้อยกว่ามาก เนื่องจากแต่ละงานจะมีอะแดปเตอร์ขนาดเล็กของตัวเอง คุณจึงสามารถจัดเก็บโมเดลพื้นฐานหนึ่งโมเดลบวกกับโมดูลงานที่มีน้ำหนักเบาจำนวนมาก และสลับหรือซ้อนกันได้ อะแดปเตอร์เป็นสมาชิกพื้นฐานของกลุ่มการปรับแต่งแบบละเอียดที่มีประสิทธิภาพพารามิเตอร์ (PEFT) ควบคู่ไปกับการปรับแต่ง LoRA และคำนำหน้า