Termin ze słownika AI

Czym jest Punkt końcowy wnioskowania?

Definicja

Wdrożony interfejs API, który odbiera żądania modelu i zwraca prognozy w środowisku produkcyjnym.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

API (interfejs programowania aplikacji)Ustrukturyzowany sposób wysyłania żądań przez jeden system oprogramowania i otrzymywania odpowiedzi z innego systemu.WnioskowanieFaza środowiska uruchomieniowego, w której przeszkolony model generuje prognozy lub dane wyjściowe.Rozliczenia oparte na wykorzystaniuCeny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.Obliczanie czasu wnioskowaniaIlość mocy obliczeniowej zużywanej podczas generowania każdej odpowiedzi.Drzewo decyzyjneModel, który dokonuje prognoz na podstawie sekwencji podziałów funkcji „jeśli-to”.Zesp󳣹czenie prognoz z wielu modeli w celu poprawy niezawodności i dokładności.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Zobacz także

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI