ALiBi অবস্থান পক্ষপাত

It lets a model trained on short text handle much longer inputs at inference time.

ট্রান্সফরমারের শব্দ ক্রম সম্পর্কে কোন অন্তর্নির্মিত ধারণা নেই, তাই তাদের অবস্থান এনকোড করার একটি উপায় প্রয়োজন। ক্লাসিক পদ্ধতি টোকেন ভেক্টরগুলিতে অবস্থানগত এম্বেডিং যোগ করে। 2021 সালে প্রেস, স্মিথ এবং লুইস দ্বারা প্রবর্তিত ALiBi, সেগুলিকে সম্পূর্ণরূপে বাইরে ফেলে দেয়। পরিবর্তে, এটি মনোযোগের স্কোরগুলিকে সরাসরি ধাক্কা দেয়: যখন একটি ক্যোয়ারী টোকেন একটি কী টোকেনের দিকে তাকায়, তখন ALiBi তাদের মধ্যে দূরত্বের সমানুপাতিক একটি পেনাল্টি বিয়োগ করে৷ দূরে থাকা টোকেনগুলি একটি বড় জরিমানা পায়, তাই মডেলটি স্বাভাবিকভাবেই কাছাকাছি প্রসঙ্গ পছন্দ করে। প্রতিটি মনোযোগের মাথা তার নিজস্ব নির্দিষ্ট পেনাল্টি ঢাল পায়, তাই কিছু মাথা স্থানীয়ভাবে তাকায় যখন অন্যরা দূরে দেখতে পায়। যেহেতু পক্ষপাত শুধুমাত্র দূরত্বের একটি ফাংশন, ALiBi প্রশিক্ষণে দেখা যায় এমন সিকোয়েন্সের চেয়ে অনেক বেশি লম্বা সিকোয়েন্সে সুন্দরভাবে এক্সট্রাপোলেট করে।