What is Inference-Time Compute? Definition | AI Understanding

Definicja

Ilość mocy obliczeniowej zużywanej podczas generowania każdej odpowiedzi.

Powiązane terminy

Obliczanie czasu testu

Dodatkowe obliczenia wnioskowania wykorzystywane podczas generowania odpowiedzi w celu poprawy jakości lub rozumowania.

Rozliczenia oparte na wykorzystaniu

Ceny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.

Destylowany model

Mniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.

Zasoby przetwarzania wymagane do uczenia i uruchamiania modeli, często mierzone w FLOPS lub godzinach GPU.

RAG (generacja wspomagana odzyskiwaniem)

Metoda, która pobiera wiedzę zewnętrzną i przekazuje ją do generowania w momencie wnioskowania.

Podatek wyrównawczy

Dodatkowy koszt czasu, obliczeń lub szybkości produktu wymagany do zwiększenia bezpieczeństwa i kontroli systemów.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Zobacz także

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI