DalšíDalší průvodce
Neustálé učení a katastrofické zapomínání
Základy
PRŮVODCE Základy
Curriculum learning orders training examples according to a chosen schedule, often from easier to harder examples.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Its benefits depend on how difficulty is defined and on the task.
Bengio and colleagues’ 2009 paper discusses curriculum learning as a training strategy inspired by curricula in education. The paper studies tasks and curricula in specific experiments; it does not show that every task benefits from easy-to-hard training. Self-paced learning is a related approach in which the learner’s objective or current model influences which examples are selected. A common curriculum strategy orders examples from easier to harder, but schedules and difficulty measures vary. Anti-curriculum presents harder examples before easier ones under a defined schedule. Self-paced learning uses current model loss to select examples, often beginning with lower-loss cases; it is related to but distinct from a prescribed curriculum. The original 2010 self-paced paper reports experiments in object localization, noun-phrase coreference, motif finding, and handwritten-digit recognition. The continuation hypothesis proposes beginning with a smoother or easier objective and gradually approaching the target. Evaluate any schedule against a comparable baseline with the same data and compute because benefits vary by task and setup.
Train with a declared easy-to-hard sequence.
Compare with a shuffled-data baseline using the same examples.
Record the curriculum schedule and difficulty score.
Test whether ordering changes convergence or generalization.
Curriculum methods remain task-dependent. Report the difficulty measure and schedule, and compare against appropriate baselines.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Curriculum learning orders training examples according to a chosen schedule, often from easier to harder examples. Its benefits depend on how difficulty is defined and on the task.
Běžné učební osnovy řadí příklady od jednodušších po těžší, ale definice obtížnosti a plány se liší podle úkolu; toto není povinné nebo univerzálně výhodné objednání.
Bengio a spoluautoři ve svém dokumentu z roku 2009 formalizovali učení kurikula ve strojovém učení.
Učení vlastním tempem je související přístup, ve kterém současné ztráty modelu pomáhají vybrat příklady, často začínající příklady s nižšími ztrátami a rozšiřující sadu. Není totožné s každým externě specifikovaným jednoduchým až tvrdým učivem.
Hypotéza pokračování navrhuje začít s hladším nebo snadnějším cílem a postupně se k cílovému cíli přibližovat; je to jedno z možných vysvětlení, proč některé učební osnovy pomáhají, nikoli univerzální záruka.
Přínos kurikula závisí na úkolu, plánu, datech a optimalizaci. Je zapotřebí řízená základní linie se srovnatelnými daty a výpočtem; žádné univerzální nastavení nezaručuje největší zisk.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Neustálé učení a katastrofické zapomínání
Základy