এআই শব্দকোষের মেয়াদ

QLoRA কী?

সংজ্ঞা

একটি ফাইন-টিউনিং কৌশল যা মেমরির চাহিদা কমাতে LoRA অ্যাডাপ্টারের সাথে 4-বিট ওজনের পরিমাপকে একত্রিত করে।

সম্পূর্ণ AI শব্দকোষ ব্রাউজ করুনসমস্ত বিনামূল্যের এআই গাইড এক্সপ্লোর করুন

সম্পর্কিত পদ

LoRA (নিম্ন-র্যাঙ্ক অভিযোজন)একটি পরামিতি-দক্ষ ফাইন-টিউনিং পদ্ধতি যা নিম্ন-র্যাঙ্ক অ্যাডাপ্টার ম্যাট্রিক্স যোগ করে।কোয়ান্টাইজেশনমডেলের ওজনকে 8-বিট বা 4-বিটের মতো নিম্ন নির্ভুল ফর্ম্যাটে রূপান্তর করা।ফাইন-টিউনিংএকটি নির্দিষ্ট কাজের জন্য একটি প্রাক-প্রশিক্ষিত মডেলকে মানিয়ে নিতে ডোমেন-নির্দিষ্ট ডেটার উপর অবিরত প্রশিক্ষণ।নির্দেশ টিউনিংনির্দেশনা-প্রতিক্রিয়া জোড়ায় একটি মডেলকে ফাইন-টিউনিং করে অনুসরণ করা টাস্ককে উন্নত করা।মডেল কোয়ান্টাইজেশনমেমরি এবং অনুমান খরচ কমাতে মডেল ওজনের সাংখ্যিক নির্ভুলতা হ্রাস করা।প্যারামিটার-দক্ষ ফাইন-টিউনিং (PEFT)যে পদ্ধতিগুলি যোগ করা পরামিতিগুলির একটি ছোট উপসেট প্রশিক্ষণের মাধ্যমে মডেলগুলিকে অভিযোজিত করে৷

আমাদের বিনামূল্যের গাইডে আরও জানুন

QLoRA and 4-Bit Fine-Tuning

আরও দেখুন

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)