What is Inference-Time Compute? Definition | AI Understanding

Definice

Množství výpočetního výkonu spotřebovaného při vytváření každé odpovědi.

Související pojmy

Výpočet testovacího času

Další inferenční výpočet používaný během generování odezvy ke zlepšení kvality nebo uvažování.

Fakturace podle použití

Ceny, kde se náklady škálují pomocí volání API, tokenů, doby odvození nebo spotřebovaného výpočtu.

Destilovaný model

Menší model trénovaný tak, aby napodoboval chování většího modelu při použití méně výpočtů při odvození.

Zdroje zpracování potřebné k trénování a spuštění modelů, často měřené v hodinách FLOPS nebo GPU.

RAG (generace rozšířeného vyhledávání)

Metoda, která získává externí znalosti a dodává je do generace v době odvození.

Vyrovnávací daň

Dodatečné náklady na čas, výpočet nebo rychlost produktu potřebné k tomu, aby byly systémy bezpečnější a lépe ovladatelné.

Více se dozvíte v našich bezplatných průvodcích

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Viz také

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI