Il prossimoProssima guida
Catena Markov Monte Carlo
Tecnico
GUIDA TECNICA
L'impurità di Gini misura quanto sono mescolate le etichette delle classi in un nodo dell'albero decisionale, con zero che indica che ogni esempio appartiene a una classe.
Ascolta questa guidaNarrato dall'IA · ~3 min
I classificatori CART utilizzano la riduzione delle impurità prevista dalle suddivisioni dei candidati per scegliere le partizioni, ma il punteggio è un criterio di suddivisione locale piuttosto che una misura completa della qualità del modello.
I classificatori dell'albero decisionale dividono ricorsivamente i dati in regioni. Ad ogni divisione dei candidati, l'albero necessita di un criterio per quanto bene i nodi figli risultanti separano le etichette delle classi. L'impurità Gini per un nodo è 1 meno la somma delle proporzioni delle classi al quadrato. Per le classi con proporzioni p_k, G = 1 - sum(p_k al quadrato). Un nodo puro ha una proporzione uguale a uno e tutti gli altri zero, quindi G è zero. In un nodo binario con proporzioni equilibrate 0,5 e 0,5, G è 0,5, il massimo per due classi. Per un nodo ipotetico con 8 casi positivi e 2 negativi, le proporzioni sono 0,8 e 0,2. Il calcolo è 1 - (0,64 + 0,04) = 0,32. Questo punteggio può essere interpretato come la probabilità di classificazione errata se un'etichetta viene assegnata estraendo casualmente in base alle proporzioni della classe del nodo, sebbene un albero addestrato normalmente preveda la classe maggioritaria. CART valuta le suddivisioni dei candidati in base all'impurità media ponderata nei bambini, ponderando ciascuno in base alla sua quota di osservazioni dei genitori. La diminuzione dell'impurezza è pari all'impurità del genitore meno questa impurità del figlio ponderata. Quindi un bambino dall'aspetto vuoto o molto piccolo non rende automaticamente utile una divisione. Anche i vincoli dell'albero come la dimensione minima delle foglie, la profondità e la potatura influiscono sul modello finale. Gini è computazionalmente conveniente perché evita i logaritmi, mentre l'entropia utilizza -sum(p log p) e può classificare le suddivisioni dei candidati in modo simile ma non necessariamente identico. L'impurità di Gini non è la stessa cosa dello squilibrio di classe complessivo del set di dati, della probabilità che la previsione del modello sia sbagliata o del punteggio di valutazione sui dati esclusi. Viene calcolato localmente su un nodo dalle etichette lì presenti. Un albero può ottenere foglie di pura formazione crescendo in profondità e tuttavia generalizzando scarsamente. Valuta il modello completo con una suddivisione adeguata e ispeziona gli errori specifici della classe, la calibrazione ove necessario e la stabilità. Il criterio dell'impurità guida la costruzione; non stabilisce se le caratteristiche siano causali o le previsioni siano utili.
Un nodo contiene 8 casi positivi e 2 negativi. La sua impurità Gini è 1 - (0,8 al quadrato + 0,2 al quadrato) = 0,32, che rappresenta la possibilità di un'etichetta diversa se due etichette vengono disegnate indipendentemente dalle proporzioni della sua classe.
Un'ipotetica scissione crea un bambino puro e un bambino misto. L'impurezza madre deve essere confrontata con le impurità figlie ponderate in base alle loro proporzioni campionarie; un bambino piccolo e puro da solo non stabilisce una buona divisione.
Un team confronta un albero che utilizza Gini con uno che utilizza l'entropia, quindi valuta le previsioni non valide. Scelte di suddivisione simili non garantiscono alberi identici o generalizzazione uguale.
Un nodo ha proporzioni di classe 0,5 e 0,5, producendo impurità 0,5 nel caso binario. Un nodo con 0,9 e 0,1 ha impurità 0,18 ed è più concentrato in classi.
Le spiegazioni dell'albero possono rendere i criteri di suddivisione più utili mostrando insieme le proporzioni della classe genitore, le proporzioni figlio e la variazione dell'impurità ponderata. Le squadre dovrebbero anche rivedere le dimensioni delle foglie e le prestazioni della classe tenute in modo che una partizione di allenamento apparentemente pulita non domini i giudizi. Quando lo squilibrio di classe conta, valutare i risultati delle classi minoritarie insieme alle riduzioni delle impurità. Un processo pratico documenta il criterio, le scelte di potatura e il progetto di validazione, quindi li rivisita quando il processo di popolazione o etichetta cambia. Una migliore visualizzazione può chiarire perché è stata scelta una suddivisione, ma il criterio rimane una parte della valutazione del modello piuttosto che un certificato di qualità.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'impurità di Gini misura quanto sono mescolate le etichette delle classi in un nodo dell'albero decisionale, con zero che indica che ogni esempio appartiene a una classe. I classificatori CART utilizzano la riduzione delle impurità prevista dalle suddivisioni dei candidati per scegliere le partizioni, ma il punteggio è un criterio di suddivisione locale piuttosto che una misura completa della qualità del modello.
Uno meno (0,8 al quadrato più 0,2 al quadrato) equivale a 1 - 0,68 = 0,32.
Un nodo puro ha una proporzione di classe pari a uno, quindi uno meno la somma delle proporzioni al quadrato è zero.
Il criterio di suddivisione utilizza una media ponderata in base alle dimensioni del campione delle impurità infantili.
Il guadagno diviso è l'impurità del genitore meno la media ponderata dell'impurità dopo la divisione.
Entrambi misurano la miscelazione delle classi per la selezione divisa, ma le loro formule e scale numeriche differiscono.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Catena Markov Monte Carlo
Tecnico