co je Destilace znalostí?

Komprese znalostí z velkého modelu učitele do menšího modelu studenta.

Menší model trénovaný tak, aby napodoboval chování většího modelu při použití méně výpočtů při odvození.

Poslední bod v čase, který se odráží v tréninkových datech modelu.

Tréninkové přístupy, které umožňují modelu neustále se učit z nových dat, aniž by zapomínal na předchozí znalosti.

Trénink modelu s označenými příklady, které mapují vstupy na známé výstupy.

Tréninkový a behaviorální přístup, kde se výstupy modelu řídí pevně daným souborem písemných principů.