What is Inference? Definition | AI Understanding

Meghatározás

Az a futásidejű fázis, amelyben egy betanított modell előrejelzéseket vagy kimeneteket generál.

Kapcsolódó kifejezések

Következtetési végpont

Telepített API-felület, amely modellkéréseket fogad, és előrejelzéseket ad vissza az éles környezetben.

Human-in-the-Loop

Egy munkafolyamat, amelyben az emberek felülvizsgálják, irányítják vagy felülbírálják az AI-kimeneteket.

Alkotmányos AI

Képzési és viselkedésformáló megközelítés, ahol a modell kimeneteit rögzített írott elvek vezérlik.

Desztillált modell

Egy kisebb modell egy nagyobb modell viselkedésének utánzására lett kiképezve, miközben kevesebb számítást használ a következtetéshez.

Használat alapú számlázás

Árképzés, ahol a költségek skálázódnak API-hívásokkal, tokenekkel, következtetési idővel vagy felhasznált számítással.

Spekulatív dekódolás

Következtetési gyorsítási módszer, ahol egy kis vázlatmodell tokeneket javasol, amelyeket egy nagyobb modell párhuzamosan ellenőriz.

Tudjon meg többet ingyenes útmutatóinkból

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

See also

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót