Okwu nkọwapụta AI

Gịnị bụ QLoRA?

Nkọwa

Usoro nlegharị anya nke ọma na-ejikọta ọnụ ọgụgụ dị arọ 4-bit na ihe nkwụnye LoRA iji belata mkpa ebe nchekwa.

Okwu ndị metụtara

LoRA (mmegharị ọkwa dị ala)
Usoro nlegharị anya nke ọma na-arụ ọrụ nke ọma nke na-agbakwunye matrices nkwụnye dị ala.
Quantization
Ịtụgharị ihe ọ̀tụ̀tụ̀ ịdị arọ ka ọ dị ala n'ụdị ziri ezi dị ka 8-bit ma ọ bụ 4-bit.
Imezicha nke ọma
Ịga n'ihu na ọzụzụ na ngalaba-kpọmkwem data iji gbanwee ihe nlereanya a zụrụ azụ na otu ọrụ.
Ntụgharị ntụziaka
Idozi ihe nlere anya na ụzọ abụọ nzaghachi-ntụziaka iji kwalite ọrụ na-eso.
Nlereanya Quantization
Ibelata nzizi ọnụọgụgụ nke nha ihe atụ iji belata ebe nchekwa na ọnụ ahịa ntinye.
Parameter-Ntụgharị dị mma nke ọma (PEFT)
Ụzọ na-emegharị ụdị site n'ịzụ obere akụkụ nke paramita agbakwunyere.

Mụtakwuo na ntuziaka efu anyị

QLoRA and 4-Bit Fine-Tuning

Hụkwa

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Chọgharịa akwụkwọ nkọwa AI zuru ezuNyochaa ntuziaka AI niile efu