ঘূর্ণমান অবস্থান এমবেডিং

This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.

ট্রান্সফরমারগুলির কোনও অন্তর্নির্মিত শৃঙ্খলা নেই, তাই তাদের অবস্থানের তথ্য কোনওভাবে যুক্ত করা দরকার। প্রাথমিক মডেলগুলি ইনপুটগুলিতে ফিক্সড সাইনোসয়েডাল ভেক্টর বা শেখা অবস্থান এমবেডিং যোগ করেছিল। 2021 সালে Su এবং সহকর্মীদের দ্বারা প্রস্তাবিত RoPE একটি ভিন্ন পন্থা অবলম্বন করে: একটি পজিশন ভেক্টর যোগ করার পরিবর্তে, এটি টোকেনের অবস্থানের সাথে বেড়ে ওঠা একটি কোণ দ্বারা কোয়েরিতে এবং কী ভেক্টরের জোড়া মাত্রাগুলিকে ঘোরায়৷ যখন মডেলটি m অবস্থানে একটি প্রশ্ন এবং n অবস্থানে একটি কী-এর মধ্যে ডট পণ্য গণনা করে, তখন গণিত কাজ করে তাই ফলাফল শুধুমাত্র তাদের আপেক্ষিক দূরত্ব m বিয়োগ n এর উপর নির্ভর করে। এটি প্রকৃত আপেক্ষিক-অবস্থান সচেতনতা দেয়, দক্ষ মনোযোগের কার্নেলের সাথে সুন্দরভাবে খেলা করে এবং দূরত্বের সাথে মসৃণভাবে মনোযোগ নষ্ট করে। RoPE এখন Llama, Mistral, Qwen এবং সবচেয়ে আধুনিক খোলা মডেলগুলিতে ব্যবহৃত হয়।