Co jest Destylacja wiedzy?

Kompresja wiedzy z modelu dużego nauczyciela do modelu mniejszego ucznia.

Mniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.

Ostatni punkt w czasie odzwierciedlony w danych szkoleniowych modelu.

Podejścia szkoleniowe, które pozwalają modelowi uczyć się na nowych danych, nie zapominając o wcześniejszej wiedzy.

Trenowanie modelu za pomocą oznaczonych przykładów, które mapują dane wejściowe na znane dane wyjściowe.

Podejście polegające na szkoleniu i kształtowaniu zachowań, w którym wyniki modelu opierają się na ustalonym zestawie pisemnych zasad.