Il prossimoProssima guida
Grafici di Sollevamento e Guadagno
Fondamenti
GUIDA AI FONDAMENTALI
L'entropia riassume l'incertezza in un insieme di etichette di classe, mentre il guadagno di informazione misura quanto un candidato di divisione riduce quell'incertezza in media.
Ascolta questa guidaNarrato dall'IA · ~3 min
Un albero di classificazione può usare queste quantità per scegliere una caratteristica e una soglia localmente. Descrivono la distribuzione delle etichette nei dati di addestramento, non se una divisione è causale o equa.
For a classification node, entropy is computed from the proportions of its labels. With two equally common classes, using base-two logarithms gives one bit of entropy; a node containing only one class has zero. If the proportions are 75% and 25%, entropy is about 0.811 bits. This does not say one individual label is random. It summarizes the class mixture among the examples reaching that node. A candidate split divides the node into children. Calculate each child's entropy, weight it by that child's fraction of the parent examples, and subtract the weighted average from the parent's entropy. The result is information gain. Consider eight training examples, four yes and four no. Parent entropy is one bit. A split that sends three yes and one no to one child, and one yes and three no to the other, creates two children with about 0.811 bits each. They contain equal numbers of examples, so weighted child entropy is about 0.811 and information gain is about 0.189 bits. A split into perfectly pure children would yield one bit of gain in this constructed example. Decision-tree training usually compares candidate features and thresholds at each node and selects a locally attractive split. The scikit-learn tree guide describes minimizing weighted child impurity; when entropy is the criterion, that is equivalent to maximizing the reduction from the same parent node. The process is greedy, so a locally strongest split is not a guarantee of the globally best tree. A tree can keep splitting until it fits small idiosyncratic groups; depth, minimum leaf size and pruning can help control overfitting. Information gain reflects the selected impurity measure and the observed labels. It does not establish causation, explain why a feature predicts the outcome, or prove the resulting decisions are fair. Evaluate the full tree on separate data and inspect consequences for relevant groups before deployment.
Un insegnante utilizza un esempio equilibrato sì/no per mostrare perché un nodo con metà di ciascuna etichetta ha un bit di entropia binaria.
Un analista confronta due potenziali divisioni dell'albero pesando l'entropia di ogni nodo figlio per la sua quota di esempi di addestramento.
Un team di frodi limita la dimensione delle foglie e testa su casi non usati in modo che un alto guadagno di informazione sul set di addestramento non diventi una falsa affermazione di fiducia.
Un ricercatore di prodotti esamina se una divisione su una caratteristica proxy separa le etichette storiche pur fallendo la valutazione di equità prevista.
Man mano che i modelli ad albero vengono usati in flussi di lavoro più conseguenziali, il punteggio di divisione dovrebbe essere trattato come uno strumento di addestramento piuttosto che come una spiegazione completa. Un software migliore rende facile confrontare entropia, Gini e impostazioni di potatura, ma la progettazione dei dati e la definizione dell'esito rimangono scelte umane. I ricercatori continueranno a testare quanto le divisioni siano stabili sotto aggiornamenti dei dati e cambiamenti di sottogruppi. Un decisore dovrebbe chiedersi se l'albero addestrato si generalizza, se le sue caratteristiche sono appropriate e se gli errori influenzano i gruppi in modo diverso. L'aritmetica del guadagno di informazione è utile perché rende visibile una scelta di progettazione; non decide l'intera decisione di distribuzione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'entropia riassume l'incertezza in un insieme di etichette di classe, mentre il guadagno di informazione misura quanto un candidato di divisione riduce quell'incertezza in media. Un albero di classificazione può usare queste quantità per scegliere una caratteristica e una soglia localmente. Descrivono la distribuzione delle etichette nei dati di addestramento, non se una divisione è causale o equa.
Per proporzioni binarie 0,5 e 0,5, −0,5 log₂(0,5) − 0,5 log₂(0,5) è uguale a un bit.
Un nodo puro ha una proporzione di classe di uno per una etichetta e zero per le altre, dando zero entropia.
La media pesata riflette quante esempi del padre finiscono in ciascun figlio; un piccolo figlio non dovrebbe contare quanto uno grande.
I figli di dimensioni uguali hanno entropia pesata 0,811, quindi il guadagno di informazione è 1 − 0,811 ≈ 0,189 bit.
La guida spiega che minimizzare l'entropia pesata dei figli in un nodo massimizza il guadagno rispetto all'entropia fissa del padre di quel nodo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Grafici di Sollevamento e Guadagno
Fondamenti