What is Distillation? Definition | AI Understanding

Definice

Komprese znalostí z velkého modelu učitele do menšího modelu studenta.

Související pojmy

Destilace znalostí

Trénink menšího modelu, aby napodobil výstupy většího modelu.

Průběžné učení

Tréninkové přístupy, které umožňují modelu neustále se učit z nových dat, aniž by zapomínal na předchozí znalosti.

RAG (generace rozšířeného vyhledávání)

Metoda, která získává externí znalosti a dodává je do generace v době odvození.

Vyhledání relevantních dokumentů nebo záznamů ze zdroje znalostí pro dotaz.

Záznam o tom, odkud data pocházejí, jak byla transformována a kde se používají.

Diferenciální soukromí

Technika ochrany soukromí, která přidává statistický šum, takže jednotlivé záznamy nelze z výstupů spolehlivě odvodit.

Více se dozvíte v našich bezplatných průvodcích

DINO Self-Distillation DreamFusion and Score Distillation Sampling Knowledge Distillation

Viz také

Diffusion Model Domain Adaptation Deep Learning Embedding Decision Tree Encoder Decision Boundary Ensemble

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI