মনোযোগ রোলআউট এবং মাথা ছাঁটাই

Head pruning removes attention heads that contribute little, shrinking models without hurting accuracy. Together they help us interpret and compress Transformers.

ট্রান্সফরমাররা তাদের যুক্তিকে অনেক স্তরে অনেক মনোযোগের মাথা জুড়ে ছড়িয়ে দেয়, তাই একটি একক স্তরের মনোযোগ মানচিত্র খুব কমই পুরো গল্প বলে। অ্যাটেনশন রোলআউট, 2020 সালে আবনার এবং জুইডেমা দ্বারা প্রবর্তিত, প্রতিটি ইনপুট টোকেন শেষ পর্যন্ত একটি প্রদত্ত আউটপুট টোকেনে কতটা অবদান রাখে তা আনুমানিকভাবে নির্ধারণ করার জন্য মনোযোগ ম্যাট্রিক্স স্তরকে স্তর দ্বারা গুণ করে (অবশিষ্ট সংযোগগুলির জন্য অ্যাকাউন্টিং করার পরে) এটিকে ঠিক করে। আলাদাভাবে, গবেষণা যেমন মিশেল এবং সহকর্মীরা ''আর সিক্সটিন হেডস কি সত্যিই একের চেয়ে ভালো?' দেখিয়েছে যে অনেক মাথা অপ্রয়োজনীয়: নগণ্য নির্ভুলতা ক্ষতির সাথে অনুমানের সময় একটি বড় ভগ্নাংশ ছাঁটাই করা যেতে পারে। মাথা ছাঁটাই গুরুত্বের ভিত্তিতে মাথাকে স্থান দেয়, প্রায়শই গ্রেডিয়েন্ট-ভিত্তিক সংবেদনশীলতা স্কোর ব্যবহার করে, তারপরে সর্বনিম্ন দরকারীগুলিকে মাস্ক করে। দুটি কৌশল পরিপূরক: রোলআউট প্রকাশ করে যে নেটওয়ার্কের কোন অংশগুলি ব্যাখ্যার জন্য গুরুত্বপূর্ণ, এবং ছাঁটাই মডেলগুলিকে ছোট এবং দ্রুততর করার জন্য অপ্রয়োজনীয়তার উপর কাজ করে।