উপসর্গ টিউনিং

It lets you customize giant models for new tasks while updating less than 1% of parameters.

প্রিফিক্স টিউনিং, 2021 সালে স্ট্যানফোর্ড গবেষক লি এবং লিয়াং দ্বারা প্রবর্তিত, একটি পূর্বপ্রশিক্ষিত ট্রান্সফরমারকে এর ওজন স্পর্শ না করেই মানিয়ে নেয়। সমস্ত পরামিতিগুলিকে সূক্ষ্ম-টিউন করার পরিবর্তে, এটি প্রতিটি মনোযোগ স্তরে কী এবং মানগুলির সাথে প্রশিক্ষণযোগ্য 'ভার্চুয়াল টোকেন' (উপসর্গ) এর একটি ক্রম প্রিপেন্ড করে। হিমায়িত মডেলটি এই উপসর্গটিতে উপস্থিত থাকে যেন এটি বাস্তব প্রসঙ্গ, একটি লক্ষ্য কাজের দিকে তার আচরণকে পরিচালনা করে। যেহেতু শুধুমাত্র উপসর্গ ভেক্টর শেখা হয়, আপনি একটি সম্পূর্ণ মডেল অনুলিপির পরিবর্তে একটি টাস্ক প্রতি একটি ক্ষুদ্র উপসর্গ সংরক্ষণ করতে পারেন। এটি অনেকগুলি কাজকে সস্তা করে তোলে এবং সম্পূর্ণ ফাইন-টিউনিংয়ের স্টোরেজ ব্লআপ এড়ায়। এটি টেবিল-টু-টেক্সট এবং সংক্ষিপ্তকরণের মতো প্রজন্মের কাজগুলিতে বিশেষভাবে ভাল সঞ্চালন করে, প্রায়শই উচ্চ-ডেটা সেটিংসে সম্পূর্ণ সূক্ষ্ম-টিউনিংয়ের সাথে মিলে যায়।