Perfezionamento del sussurro

Whisper è un modello di codificatore-decodificatore preaddestrato per attività vocali. L'ottimizzazione continua l'addestramento su audio e testo accoppiati in modo che il modello possa gestire meglio una distribuzione, un vocabolario o una condizione linguistica target. Ciò non significa semplicemente aggiungere un dizionario: i pesi del modello vengono aggiornati utilizzando esempi e il comportamento risultante dipende dai dati, dall’obiettivo e dalla configurazione della formazione. Inizia con coppie di trascrizioni audio attentamente allineate. Le trascrizioni dovrebbero corrispondere al contenuto parlato e utilizzare convenzioni coerenti per la punteggiatura, le maiuscole, i numeri, le disfluenze e gli eventi non vocali. L'audio dovrebbe essere decodificato e campionato come previsto dal processore del modello. Rimuovi i duplicati e controlla che i segmenti non siano né troncati né non corrispondenti. Un piccolo numero di errori di etichettatura può indirizzare erroneamente l’apprendimento, in particolare in un insieme di adattamenti ridotto. Dividi per relatore, fonte o sessione prima della formazione in modo che le espressioni correlate non vengano visualizzate sia nella formazione che nella valutazione. Conserva un set di convalida per le decisioni sui checkpoint e sugli iperparametri e un set di test separato per il reporting finale. Il tasso di errore delle parole è comune per ASR, ma le scelte di normalizzazione lo influenzano; segnalateli. Valuta diversi accenti, condizioni di rumore e vocabolario target, non solo una media complessiva. I modelli di grandi dimensioni richiedono più memoria ed elaborazione e potrebbero essere più difficili da ottimizzare su hardware limitato. Punti di controllo più piccoli possono essere pratici, ma le dimensioni del modello da sole non determinano la qualità. Metodi efficienti in termini di parametri, come gli adattatori di basso rango, possono ridurre i parametri addestrabili se supportati dallo strumento scelto, ma il loro comportamento e compatibilità devono essere verificati. Confrontalo con aggiustamenti rapidi o di decodifica e recupero di termini di dominio prima di impegnarti nella formazione. La messa a punto può migliorare un dominio target riducendo al contempo le prestazioni altrove, soprattutto se i dati sull’adattamento sono limitati. Monitora sia i set di convalida target che quelli generali quando è importante un'ampia capacità. Salva il riferimento del modello base, il processore, la configurazione dell'addestramento, la versione del set di dati e il checkpoint finale in modo che il risultato possa essere riprodotto e controllato.