Hva er QLoRA?

En parametereffektiv finjusteringsmetode som legger til lavrangerte adaptermatriser.

Konvertering av modellvekter til formater med lavere presisjon som 8-bit eller 4-bit.

Fortsatt opplæring på domenespesifikke data for å tilpasse en forhåndstrent modell til en spesifikk oppgave.

Finjustere en modell på instruksjon-svar-par for å forbedre oppgavefølgen.

Reduserer numerisk presisjon av modellvekter for å redusere minne- og slutningskostnadene.

Metoder som tilpasser modeller ved å trene opp en liten delmengde av ekstra parametere.