ColBERT দেরী মিথস্ক্রিয়া পুনরুদ্ধার

It captures nuance that single-vector embeddings miss while staying fast enough to search large collections.

স্ট্যানফোর্ড (খাত্তাব এবং জাহারিয়া, 2020) এ বিকশিত, ColBERT - 'কনটেক্সচুয়ালাইজড লেট ইন্টারঅ্যাকশন ওভার BERT'-এর সংক্ষিপ্ত - দুটি পুনরুদ্ধার চরমের মধ্যে বসে। প্রথাগত ঘন পুনরুদ্ধারকারীরা একটি সম্পূর্ণ প্যাসেজকে একটি এমবেডিং ভেক্টরে চেপে দেয়, যা দ্রুত কিন্তু বিস্তারিত হারায়। ক্রস-এনকোডারগুলি উচ্চ নির্ভুলতার জন্য একটি ট্রান্সফরমারের মাধ্যমে কোয়েরি এবং নথিকে একসাথে ফিড করে কিন্তু নিষিদ্ধ খরচে। ColBERT প্রতিটি টোকেনের জন্য একটি পৃথক প্রাসঙ্গিক এম্বেডিং রাখে। অনুসন্ধানের সময় এটি তার ম্যাক্সসিম স্কোর গণনা করে: প্রতিটি ক্যোয়ারী টোকেনের জন্য, সমস্ত নথির টোকেনের সাথে এর সর্বোচ্চ মিল খুঁজে বের করুন, তারপর সেই ম্যাক্সিমা যোগ করুন। যেহেতু ডকুমেন্ট এম্বেডিংগুলি প্রি-কম্পিউটেড এবং অফলাইনে ইনডেক্স করা হয়, তাই দামি ট্রান্সফরমারের কাজ প্রতি ডকুমেন্টে একবার হয়, এবং শুধুমাত্র সস্তা ম্যাক্সসিম ক্যোয়ারী টাইমে চলে। এই 'দেরী মিথস্ক্রিয়া' লক্ষ লক্ষ প্যাসেজের জন্য ব্যবহারিক পুনরুদ্ধারের গতি সহ ক্রস-এনকোডার গুণমানের কাছাকাছি সরবরাহ করে।