Termin ze słownika AI

Czym jest Destylacja wiedzy?

Definicja

Trenowanie mniejszego modelu w celu imitowania wyników większego modelu.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

DestylacjaKompresja wiedzy z modelu dużego nauczyciela do modelu mniejszego ucznia.Destylowany modelMniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.Odcięcie wiedzyOstatni punkt w czasie odzwierciedlony w danych szkoleniowych modelu.Ciągła naukaPodejścia szkoleniowe, które pozwalają modelowi uczyć się na nowych danych, nie zapominając o wcześniejszej wiedzy.Nauka nadzorowanaTrenowanie modelu za pomocą oznaczonych przykładów, które mapują dane wejściowe na znane dane wyjściowe.Konstytucyjna sztuczna inteligencjaPodejście polegające na szkoleniu i kształtowaniu zachowań, w którym wyniki modelu opierają się na ustalonym zestawie pisemnych zasad.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Knowledge ManagementDINO Self-DistillationGraphRAG Knowledge GraphsDreamFusion and Score Distillation Sampling

Zobacz także

Knowledge GraphJailbreakLabel SmoothingIntent ClassificationLatencyInstruction TuningLarge Language Model (LLM)Inference-Time Compute