এআই শব্দকোষের মেয়াদ

QLoRA কী?

সংজ্ঞা

একটি ফাইন-টিউনিং কৌশল যা মেমরির চাহিদা কমাতে LoRA অ্যাডাপ্টারের সাথে 4-বিট ওজনের পরিমাপকে একত্রিত করে।

সম্পর্কিত পদ

LoRA (নিম্ন-র্যাঙ্ক অভিযোজন)
একটি পরামিতি-দক্ষ ফাইন-টিউনিং পদ্ধতি যা নিম্ন-র্যাঙ্ক অ্যাডাপ্টার ম্যাট্রিক্স যোগ করে।
কোয়ান্টাইজেশন
মডেলের ওজনকে 8-বিট বা 4-বিটের মতো নিম্ন নির্ভুল ফর্ম্যাটে রূপান্তর করা।
ফাইন-টিউনিং
একটি নির্দিষ্ট কাজের জন্য একটি প্রাক-প্রশিক্ষিত মডেলকে মানিয়ে নিতে ডোমেন-নির্দিষ্ট ডেটার উপর অবিরত প্রশিক্ষণ।
নির্দেশ টিউনিং
নির্দেশনা-প্রতিক্রিয়া জোড়ায় একটি মডেলকে ফাইন-টিউনিং করে অনুসরণ করা টাস্ককে উন্নত করা।
মডেল কোয়ান্টাইজেশন
মেমরি এবং অনুমান খরচ কমাতে মডেল ওজনের সাংখ্যিক নির্ভুলতা হ্রাস করা।
প্যারামিটার-দক্ষ ফাইন-টিউনিং (PEFT)
যে পদ্ধতিগুলি যোগ করা পরামিতিগুলির একটি ছোট উপসেট প্রশিক্ষণের মাধ্যমে মডেলগুলিকে অভিযোজিত করে৷

আমাদের বিনামূল্যের গাইডে আরও জানুন

QLoRA and 4-Bit Fine-Tuning

আরও দেখুন

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
সম্পূর্ণ AI শব্দকোষ ব্রাউজ করুনসমস্ত বিনামূল্যের এআই গাইড এক্সপ্লোর করুন