এআই নিউজ।গোলমাল ছাড়া।

গবেষণায় দেখা গেছে যে ক্ষুদ্র স্কেল ভেক্টর বস্তুগতভাবে বড় ভাষা মডেল প্রশিক্ষণকে প্রভাবিত করতে পারে

একটি সংশোধিত arXiv অধ্যয়ন যুক্তি দেয় যে LLM স্বাভাবিককরণ স্তরগুলির মধ্যে ছোট শেখার যোগ্য ভেক্টরগুলি তাদের পরামিতি গণনার পরামর্শের চেয়ে প্রশিক্ষণে একটি বড় প্রভাব ফেলে। লেখকরা ঘন এবং মিশ্রণ-অফ-বিশেষজ্ঞ মডেল জুড়ে বেশ কয়েকটি লাইটওয়েট পরিবর্তন থেকে কম প্রশিক্ষণের ক্ষতির রিপোর্ট করেছেন, কিন্তু বিমূর্তটি প্রদান করে না...