What is Inference-Time Compute? Definition | AI Understanding

Meghatározás

Az egyes válaszok előállítása során felhasznált feldolgozási teljesítmény mennyisége.

Kapcsolódó kifejezések

Tesztidő számítása

A válaszgenerálás során a minőség vagy az érvelés javítása érdekében használt további következtetési számítások.

Használat alapú számlázás

Árképzés, ahol a költségek skálázódnak API-hívásokkal, tokenekkel, következtetési idővel vagy felhasznált számítással.

Desztillált modell

Egy kisebb modell egy nagyobb modell viselkedésének utánzására lett kiképezve, miközben kevesebb számítást használ a következtetéshez.

A modellek betanításához és futtatásához szükséges feldolgozási erőforrások, gyakran FLOPS vagy GPU órákban mérve.

RAG (Retrieval-Augmented Generation)

Olyan módszer, amely a külső tudást visszakeresi, és azt a következtetés idején generálja.

Kiigazítási adó

A rendszerek biztonságosabbá és jobban ellenőrizhetőbbé tételéhez szükséges idő, számítási vagy terméksebesség többletköltsége.

Tudjon meg többet ingyenes útmutatóinkból

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

See also

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót