AdaBoost

Il potenziamento adattivo, o AdaBoost, combina una sequenza di studenti deboli in un predittore più forte. Uno studente debole deve solo ottenere risultati migliori rispetto al livello di base secondo l’attuale schema di ponderazione; i ceppi decisionali, alberi con una singola suddivisione, sono un esempio didattico comune. A differenza dei metodi che addestrano ogni studente in modo indipendente e poi effettuano la media, AdaBoost adatta ogni round agli errori precedenti. Nella classificazione binaria, gli esempi di addestramento iniziano con i pesi, spesso uguali. Uno studente debole viene adattato utilizzando questi pesi. Il suo errore ponderato determina quanta influenza riceve nell'insieme: uno studente con un errore inferiore guadagna un voto maggiore, a condizione che ottenga risultati migliori del caso nelle condizioni dell'algoritmo. I pesi degli esempi vengono quindi adeguati in modo che gli esempi classificati erroneamente ricevano un'attenzione relativamente maggiore nel turno successivo. Il processo si ripete per un numero prescelto di round e la previsione finale aggrega i voti degli studenti. Una semplice intuizione è una serie di monconi. Il primo moncone può separare la maggior parte degli esempi mediante una soglia di funzionalità ma manca un cluster. AdaBoost aumenta il peso relativo di questi errori; il moncone successivo viene quindi incoraggiato ad affrontarli. I monconi successivi possono correggere gli errori residui, mentre gli studenti che imparano prima rimangono nella combinazione ponderata finale. Questa attenzione può aiutare quando gli errori riflettono una struttura genuina che gli studenti successivi possono catturare. Può anche essere una debolezza. Etichette errate, valori anomali estremi o esempi provenienti da una popolazione diversa possono ricevere ripetutamente un peso elevato, distogliendo l’attenzione dal modello più ampio. Ispezionare esempi difficili e valutare sulla base di dati rappresentativi forniti. Più cicli non garantiscono una migliore generalizzazione. AdaBoost è diverso dal potenziamento del gradiente nella sua formulazione, sebbene entrambi aggiungano gli studenti in sequenza. Le implementazioni variano in termini di perdite supportate, stimatori e interfacce. Spiegare l'algoritmo specifico e il comportamento della libreria quando questi dettagli contano. Ottimizza la complessità degli studenti e i cicli di potenziamento con la convalida e confrontali con linee di base più semplici anziché dare per scontato che un insieme di studenti deboli debba vincere.