Nauka Wiadomości Narzędzia Oferty pracy Misja

Termin ze słownika AI

Czym jest Wnioskowanie?

Definicja

Faza środowiska uruchomieniowego, w której przeszkolony model generuje prognozy lub dane wyjściowe.

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI

Punkt końcowy wnioskowaniaWdrożony interfejs API, który odbiera żądania modelu i zwraca prognozy w środowisku produkcyjnym.Człowiek w pętliPrzepływ pracy, w którym ludzie przeglądają, kierują lub zastępują wyniki AI.Konstytucyjna sztuczna inteligencjaPodejście polegające na szkoleniu i kształtowaniu zachowań, w którym wyniki modelu opierają się na ustalonym zestawie pisemnych zasad.Destylowany modelMniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.Rozliczenia oparte na wykorzystaniuCeny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.Dekodowanie spekulatywneMetoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Zobacz także

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails