Термин от речника на AI

Какво е Крайна точка на извода?

Определение

Разгърнат API интерфейс, който получава заявки за модели и връща прогнози в производството.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

API (интерфейс за програмиране на приложения)Структуриран начин за една софтуерна система да изпраща заявки до и да получава отговори от друга система.ИзводФазата на изпълнение, при която обучен модел генерира прогнози или резултати.Таксуване въз основа на употребатаЦенообразуване, при което разходите се мащабират с извиквания на API, токени, време за извод или изразходвани изчисления.Извод-изчисляване на времетоКоличеството процесорна мощност, изразходвана при генериране на всеки отговор.Дърво на решениятаМодел, който прави прогнози чрез поредица от разделяния на характеристиките ако-тогава.АнсамбълКомбиниране на прогнози от множество модели за подобряване на устойчивостта или точността.

Научете повече в нашите безплатни ръководства

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Вижте също

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI