Algoritmo di massimizzazione delle aspettative

EM è un metodo iterativo per la stima della massima verosimiglianza quando un modello presenta variabili latenti o osservazioni incomplete. La verosimiglianza dei dati completi sarebbe più facile da ottimizzare se le informazioni nascoste fossero note. EM alterna due passaggi utilizzando la stima del parametro corrente. Il passo delle aspettative (E-step) calcola l'aspettativa condizionale della verosimiglianza del registro dei dati completo dati i dati osservati e i parametri attuali. La fase di massimizzazione (M-step) sceglie parametri aggiornati che massimizzano questa quantità attesa. In una miscela gaussiana l’appartenenza dei componenti è nascosta. Per ciascuna osservazione, l'E-step calcola le responsabilità: probabilità di appartenenza a ciascun componente in base alle medie attuali, covarianze e pesi della miscela. Il passo M aggiorna tali parametri utilizzando le responsabilità come pesi frazionari. La ripetizione di questi passaggi consente alle assegnazioni e alle descrizioni dei componenti di perfezionarsi a vicenda. Le responsabilità non sono etichette rigide a meno che non venga presa un'ulteriore decisione di classificazione. Una proprietà chiave è che gli aggiornamenti EM esatti non diminuiscono la verosimiglianza dei dati osservati secondo le ipotesi dell'algoritmo. Ciò non significa che ogni iterazione trovi il massimo globale. La probabilità può avere più ottimi locali e i risultati possono dipendere dall'inizializzazione. Una miscela può anche mostrare degenerazioni, quindi le implementazioni pratiche utilizzano garanzie e criteri di convergenza. Una piccola modifica dei parametri o un miglioramento della probabilità indica un arresto al di sotto di una tolleranza numerica; non è la prova di un modello scientificamente adeguato. EM non si limita al clustering di miscele. Può gestire dati mancanti o modelli con variabili latenti quando le fasi di aspettativa condizionale e massimizzazione possono essere calcolate o approssimate. L’EM generalizzato consente un M-step che aumenta, anziché massimizzare esattamente, l’obiettivo atteso. Le varianti stocastiche affrontano alcune impostazioni più ampie. Ispezionare sempre le traiettorie di verosimiglianza, la sensibilità di inizializzazione e le ipotesi del modello. Se le categorie sono specificate in modo errato, i dati dipendono in modo non modellato o il numero scelto di componenti della miscela è sbagliato, una convergenza numerica riuscita non può correggere la discrepanza scientifica. Confrontare gli adattamenti utilizzando prove disponibili o altri criteri adatti all'obiettivo e comunicare l'incertezza sulle assegnazioni latenti.