Il prossimoProssima guida
Catena Markov Monte Carlo
Tecnico
GUIDA TECNICA
Gini Impurità
L'impurità di Gini misura quanto sono mescolate le etichette delle classi in un nodo dell'albero decisionale, con zero che indica che ogni esempio appartiene a una classe.
In questa pagina4 minuti di lettura
Panoramica
I classificatori CART utilizzano la riduzione delle impurità prevista dalle suddivisioni dei candidati per scegliere le partizioni, ma il punteggio è un criterio di suddivisione locale piuttosto che una misura completa della qualità del modello.
Immersione profonda
I classificatori dell'albero decisionale dividono ricorsivamente i dati in regioni. Ad ogni divisione dei candidati, l'albero necessita di un criterio per quanto bene i nodi figli risultanti separano le etichette delle classi. L'impurità Gini per un nodo è 1 meno la somma delle proporzioni delle classi al quadrato. Per le classi con proporzioni p_k, G = 1 - sum(p_k al quadrato). Un nodo puro ha una proporzione uguale a uno e tutti gli altri zero, quindi G è zero. In un nodo binario con proporzioni equilibrate 0,5 e 0,5, G è 0,5, il massimo per due classi. Per un nodo ipotetico con 8 casi positivi e 2 negativi, le proporzioni sono 0,8 e 0,2. Il calcolo è 1 - (0,64 + 0,04) = 0,32. Questo punteggio può essere interpretato come la probabilità di classificazione errata se un'etichetta viene assegnata estraendo casualmente in base alle proporzioni della classe del nodo, sebbene un albero addestrato normalmente preveda la classe maggioritaria. CART valuta le suddivisioni dei candidati in base all'impurità media ponderata nei bambini, ponderando ciascuno in base alla sua quota di osservazioni dei genitori. La diminuzione dell'impurezza è pari all'impurità del genitore meno questa impurità del figlio ponderata. Quindi un bambino dall'aspetto vuoto o molto piccolo non rende automaticamente utile una divisione. Anche i vincoli dell'albero come la dimensione minima delle foglie, la profondità e la potatura influiscono sul modello finale. Gini è computazionalmente conveniente perché evita i logaritmi, mentre l'entropia utilizza -sum(p log p) e può classificare le suddivisioni dei candidati in modo simile ma non necessariamente identico. L'impurità di Gini non è la stessa cosa dello squilibrio di classe complessivo del set di dati, della probabilità che la previsione del modello sia sbagliata o del punteggio di valutazione sui dati esclusi. Viene calcolato localmente su un nodo dalle etichette lì presenti. Un albero può ottenere foglie di pura formazione crescendo in profondità e tuttavia generalizzando scarsamente. Valuta il modello completo con una suddivisione adeguata e ispeziona gli errori specifici della classe, la calibrazione ove necessario e la stabilità. Il criterio dell'impurità guida la costruzione; non stabilisce se le caratteristiche siano causali o le previsioni siano utili.
Impatto strategico
Costo e budget
Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
Decisioni più chiare
La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
Controllo di qualità
Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Il futuro di Gini Impurity
Le spiegazioni dell'albero possono rendere i criteri di suddivisione più utili mostrando insieme le proporzioni della classe genitore, le proporzioni figlio e la variazione dell'impurità ponderata. Le squadre dovrebbero anche rivedere le dimensioni delle foglie e le prestazioni della classe tenute in modo che una partizione di allenamento apparentemente pulita non domini i giudizi. Quando lo squilibrio di classe conta, valutare i risultati delle classi minoritarie insieme alle riduzioni delle impurità. Un processo pratico documenta il criterio, le scelte di potatura e il progetto di validazione, quindi li rivisita quando il processo di popolazione o etichetta cambia. Una migliore visualizzazione può chiarire perché è stata scelta una suddivisione, ma il criterio rimane una parte della valutazione del modello piuttosto che un certificato di qualità.
Implementazione nel mondo reale
Un nodo contiene 8 casi positivi e 2 negativi. La sua impurità Gini è 1 - (0,8 al quadrato + 0,2 al quadrato) = 0,32, che rappresenta la possibilità di un'etichetta diversa se due etichette vengono disegnate indipendentemente dalle proporzioni della sua classe.
Un'ipotetica scissione crea un bambino puro e un bambino misto. L'impurezza madre deve essere confrontata con le impurità figlie ponderate in base alle loro proporzioni campionarie; un bambino piccolo e puro da solo non stabilisce una buona divisione.
Un team confronta un albero che utilizza Gini con uno che utilizza l'entropia, quindi valuta le previsioni non valide. Scelte di suddivisione simili non garantiscono alberi identici o generalizzazione uguale.
Un nodo ha proporzioni di classe 0,5 e 0,5, producendo impurità 0,5 nel caso binario. Un nodo con 0,9 e 0,1 ha impurità 0,18 ed è più concentrato in classi.
Rischi e guardrail
L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Tabella di marcia per l'implementazione
Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
Benchmark in condizioni di carico e dati realistiche.
Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gini Impurity quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Domande frequenti
Cos'è Gini Impurità?
L'impurità di Gini misura quanto sono mescolate le etichette delle classi in un nodo dell'albero decisionale, con zero che indica che ogni esempio appartiene a una classe. I classificatori CART utilizzano la riduzione delle impurità prevista dalle suddivisioni dei candidati per scegliere le partizioni, ma il punteggio è un criterio di suddivisione locale piuttosto che una misura completa della qualità del modello.
Un nodo binario ha proporzioni di classe 0,8 e 0,2. Qual è la sua impurità Gini?
Uno meno (0,8 al quadrato più 0,2 al quadrato) equivale a 1 - 0,68 = 0,32.
Quale valore descrive l'impurità in un nodo contenente solo una classe?
Un nodo puro ha una proporzione di classe pari a uno, quindi uno meno la somma delle proporzioni al quadrato è zero.
Come dovrebbero essere combinate le impurità dei bambini quando si valuta la suddivisione di un candidato?
Il criterio di suddivisione utilizza una media ponderata in base alle dimensioni del campione delle impurità infantili.
Cosa rappresenta una diminuzione di Gini nella costruzione degli alberi?
Il guadagno diviso è l'impurità del genitore meno la media ponderata dell'impurità dopo la divisione.
Quale distinzione tra Gini ed entropia è accurata?
Entrambi misurano la miscelazione delle classi per la selezione divisa, ma le loro formule e scale numeriche differiscono.
Continua a imparare
Guide correlate
Altre guide selezionate per questo argomento