What is Inference? Definition | AI Understanding

Definicja

Faza środowiska uruchomieniowego, w której przeszkolony model generuje prognozy lub dane wyjściowe.

Powiązane terminy

Punkt końcowy wnioskowania

Wdrożony interfejs API, który odbiera żądania modelu i zwraca prognozy w środowisku produkcyjnym.

Człowiek w pętli

Przepływ pracy, w którym ludzie przeglądają, kierują lub zastępują wyniki AI.

Konstytucyjna sztuczna inteligencja

Podejście polegające na szkoleniu i kształtowaniu zachowań, w którym wyniki modelu opierają się na ustalonym zestawie pisemnych zasad.

Destylowany model

Mniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.

Rozliczenia oparte na wykorzystaniu

Ceny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.

Dekodowanie spekulatywne

Metoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Zobacz także

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI