Perdita della cerniera

Per la classificazione binaria, codificare le etichette come y in {-1, +1} e lasciare che f(x) sia il punteggio decisionale del modello. Il margine con segno è y volte f(x). La perdita della cerniera è max(0, 1 - y f(x)). Un esempio correttamente classificato con punteggio nella direzione corretta può comunque subire una perdita se si trova all'interno del margine unitario. Un punto sopra o oltre il margine ha una perdita di cerniera pari a zero. Un punto classificato erroneamente ha un margine con segno negativo e riceve una penalità maggiore di uno. Questa perdita incoraggia un classificatore a separare le classi con un margine, non semplicemente ad assegnare etichette di formazione corrette. In una macchina vettoriale a supporto lineare, l'obiettivo bilancia l'ampiezza del margine rispetto alla somma delle perdite della cerniera, con un parametro di regolarizzazione che controlla il compromesso. Una sanzione più forte per le violazioni può adattare più strettamente i dati di addestramento; consentire una maggiore violazione può favorire un confine più ampio e più semplice. I metodi kernel modificano la rappresentazione delle funzionalità mantenendo l'obiettivo basato sui margini. Consideriamo un esempio ipotetico con etichetta +1 e punteggio 0,4. Il suo margine è 0,4 e la sua perdita è 0,6. Se un altro esempio positivo ha un punteggio pari a 1,3, la sua perdita è pari a zero. Se un caso con etichetta negativa ha un punteggio pari a 0,5, il suo margine con segno è -0,5 e la sua perdita è pari a 1,5. Questi valori mostrano perché la sola correttezza della classificazione non determina la perdita della cerniera. Anche la perdita logistica è convessa e sensibile al margine, ma a differenza della perdita di cerniera continua ad assegnare una penalità positiva agli esempi correttamente classificati, anche ben oltre il margine. La sua forma probabilistica si collega naturalmente alla log-verosimiglianza. La perdita della cerniera non è di per sé una stima di probabilità calibrata. Le SVM possono essere abbinate alla calibrazione delle probabilità quando sono necessarie le probabilità, utilizzando un processo di convalida appropriato. Ridimensiona le funzionalità, ottimizza la regolarizzazione sulle pieghe di training e valuta i costi degli errori su dati rappresentativi. La perdita della cerniera non definisce una soglia decisionale ideale per ogni applicazione; le conseguenze aziendali possono richiedere una soglia separata o una decisione sulla ponderazione della classe.