Analisi discriminante lineare

L'analisi discriminante lineare ha due usi strettamente correlati. Come classificatore, stima le distribuzioni specifiche della classe e assegna un'osservazione alla classe con la maggiore probabilità a posteriori secondo il modello. Nella sua forma comune, ciascuna classe è modellata con una distribuzione gaussiana e le classi condividono una matrice di covarianza. L’ipotesi di covarianza condivisa porta a confini decisionali lineari. Se gli spread delle classi differiscono sostanzialmente, l'ipotesi può essere inadeguata; l'analisi discriminante quadratica lo rilassa consentendo matrici di covarianza specifiche della classe. LDA è anche un metodo di riduzione dimensionale supervisionato. Trova direzioni di proiezione che rendono i significati di classe molto distanti rispetto alla variazione all’interno della classe. Per le classi K, il sottospazio discriminante ha al massimo K meno una direzione utile, perché le differenze medie di classe si estendono al massimo su altrettante dimensioni. La proiezione può aiutare a visualizzare gruppi etichettati o fornire input compatti a un altro modello, ma è ottimizzata per la separazione tra le classi utilizzate durante l'adattamento. L'analisi delle componenti principali ha un obiettivo diverso. PCA trova direzioni di elevata varianza complessiva senza consultare le etichette. Una direzione con ampia varianza può riflettere la variazione all’interno della classe piuttosto che la separazione di classe. Al contrario, l’LDA può enfatizzare una direzione con una varianza complessiva modesta se tale direzione separa le classi etichettate. Nessuna delle due proiezioni dovrebbe essere giudicata universalmente superiore; la rappresentazione utile dipende dal compito e dalla valutazione a valle. Le ipotesi e le condizioni dei dati della LDA sono importanti. Le caratteristiche dovrebbero essere numeriche o codificate in modo appropriato e le stime di covarianza possono essere instabili quando il numero di caratteristiche è elevato rispetto agli esempi. In alcuni casi il restringimento o la riduzione della dimensionalità possono essere d'aiuto. Anche variabili quasi duplicate e dati scarsamente scalati o collineari possono causare problemi numerici a seconda del risolutore. Controlla se le classi hanno abbastanza osservazioni per stimare il modello. Adatta l'intera pipeline di preelaborazione e classificazione all'interno di ogni piega di training. Valutare le prestazioni predittive utilizzando parametri adatti al bilanciamento delle classi e ai costi di errore e ispezionare la calibrazione separatamente se le probabilità guideranno le decisioni. Una proiezione visivamente separata da sola non stabilisce una generalizzazione affidabile.