Modelli di miscela gaussiana

Un GMM finito modella una densità come somma delle densità dei componenti K ponderate mescolando le proporzioni. Ciascun componente è gaussiano con la propria media e una struttura di covarianza selezionata dal modello. I pesi sono non negativi e la somma è uno. Per un'osservazione, la regola di Bayes fornisce una responsabilità: la probabilità a posteriori che ciascun componente abbia generato quel punto. È possibile creare un’etichetta di cluster rigido scegliendo la responsabilità maggiore, ma così facendo si elimina l’incertezza. I GMM possono rappresentare cluster ellittici e le matrici di covarianza complete catturano le relazioni tra le caratteristiche all'interno di ciascun componente. La covarianza diagonale non presuppone alcuna covarianza delle caratteristiche all'interno del componente, la covarianza legata condivide una matrice generale tra i componenti e la covarianza sferica utilizza una varianza scalare per componente. Modelli di covarianza più flessibili richiedono più parametri e possono adattarsi eccessivamente quando i dati sono limitati. Le unità di scala e di funzionalità sono importanti perché la covarianza viene misurata nello spazio di input. L'EM è comunemente utilizzato per stimare i parametri GMM. Alterna responsabilità e aggiornamenti ponderati dei parametri. Poiché la probabilità non è convessa, l'inizializzazione può influenzare la soluzione. Riavvii multipli riducono la dipendenza da un punto di partenza ma non dimostrano un ottimo globale. La regolarizzazione della covarianza può stabilizzare stime quasi singolari; è un'impostazione modellistica o numerica che dovrebbe essere segnalata. Le medie K possono essere viste sotto ipotesi restrittive in relazione a cluster gaussiani sferici di uguali dimensioni con assegnazioni difficili, ma gli obiettivi pratici differiscono: le medie k minimizzano le distanze quadrate e GMM massimizza la probabilità. I GMM offrono stime di densità e assegnazioni soft, ma non scoprono automaticamente il numero reale di gruppi significativi. Utilizzare criteri come il BIC come aiuto per la selezione del modello e verificare la probabilità, la stabilità e l'utilità del dominio. I componenti della miscela sono parti matematiche di una densità adattata e potrebbero non corrispondere a popolazioni distinte del mondo reale.