Cos'è Regolazione fine efficiente dei parametri (PEFT)?

Formazione continua su dati specifici del dominio per adattare un modello pre-addestrato a un compito specifico.

Un metodo di regolazione fine efficiente in termini di parametri che aggiunge matrici di adattatori di basso rango.

Passaggi di formazione applicati dopo la formazione preliminare, come l'ottimizzazione delle istruzioni, l'ottimizzazione delle preferenze e la messa a punto della sicurezza.

Messa a punto di un modello sulle coppie istruzione-risposta per migliorare il follow-up del compito.

Un iperparametro di training che controlla la quantità di parametri che cambiano in ogni fase di aggiornamento.

Un metodo di formazione che ottimizza i modelli direttamente sulle coppie di preferenze senza bisogno di un modello di ricompensa separato.