What is QLoRA? Definition | AI Understanding

ፍቺ

የማስታወስ ፍላጎትን ለመቀነስ ባለ 4-ቢት የክብደት መለኪያን ከ LoRA አስማሚዎች ጋር የሚያጣምረው ጥሩ የማስተካከል ዘዴ።

ተዛማጅ ውሎች

LoRA (ዝቅተኛ-ደረጃ መላመድ)

ዝቅተኛ ደረጃ አስማሚ ማትሪክቶችን የሚጨምር ፓራሜትር-ውጤታማ ጥሩ ማስተካከያ ዘዴ።

የሞዴል ክብደቶችን ወደ ዝቅተኛ ትክክለኛ ቅርጸቶች እንደ 8-ቢት ወይም 4-ቢት መለወጥ።

ጥሩ-ማስተካከል

አስቀድሞ የሰለጠነ ሞዴል ከአንድ የተወሰነ ተግባር ጋር ለማስማማት በጎራ-ተኮር መረጃ ላይ ስልጠና መቀጠል።

መመሪያ ማስተካከያ

የሚከተለውን ተግባር ለማሻሻል በመመሪያ-ምላሽ ጥንዶች ላይ ሞዴልን በጥሩ ሁኔታ ማስተካከል።

የሞዴል መቁጠር

የማስታወስ እና የማጣቀሻ ዋጋን ለመቀነስ የሞዴል ክብደቶችን የቁጥር ትክክለኛነት መቀነስ።

መለኪያ-ውጤታማ ጥሩ ማስተካከያ (PEFT)

ትንሽ የተጨመሩ መለኪያዎችን በማሰልጠን ሞዴሎችን የሚያስተካክሉ ዘዴዎች.

በነጻ መመሪያዎቻችን ውስጥ የበለጠ ይረዱ

QLoRA and 4-Bit Fine-Tuning

ተመልከት

DPO (Direct Preference Optimization)Flash Attention Tree of Thoughts Multi-Head Attention ReAct Positional Encoding Agentic Loop RoPE (Rotary Positional Embeddings)

ሙሉውን AI መዝገበ ቃላት ያስሱ ሁሉንም ነፃ AI መመሪያዎችን ያስሱ