What is Distilled Model? Definition | AI Understanding

Definicja

Mniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.

Powiązane terminy

Obliczanie czasu wnioskowania

Ilość mocy obliczeniowej zużywanej podczas generowania każdej odpowiedzi.

Destylacja wiedzy

Trenowanie mniejszego modelu w celu imitowania wyników większego modelu.

Faza środowiska uruchomieniowego, w której przeszkolony model generuje prognozy lub dane wyjściowe.

Usuwanie mniej ważnych wag modelu lub neuronów w celu zmniejszenia rozmiaru i obliczeń.

Obliczanie czasu testu

Dodatkowe obliczenia wnioskowania wykorzystywane podczas generowania odpowiedzi w celu poprawy jakości lub rozumowania.

Rozliczenia oparte na wykorzystaniu

Ceny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Models Explained Model Collapse Model Lifecycle Model Context Protocol

Zobacz także

Differential Privacy Embedding Model Data Provenance Eval Harness Data Lineage Feature Store Constitutional AI Groundedness

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI