Nauka Wiadomości Narzędzia Oferty pracy Misja

Termin ze słownika AI

Czym jest Obliczanie czasu wnioskowania?

Definicja

Ilość mocy obliczeniowej zużywanej podczas generowania każdej odpowiedzi.

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI

Obliczanie czasu testuDodatkowe obliczenia wnioskowania wykorzystywane podczas generowania odpowiedzi w celu poprawy jakości lub rozumowania.Rozliczenia oparte na wykorzystaniuCeny, w których koszty skalują się w zależności od wywołań API, tokenów, czasu wnioskowania lub zużytych mocy obliczeniowych.Destylowany modelMniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.ObliczZasoby przetwarzania wymagane do uczenia i uruchamiania modeli, często mierzone w FLOPS lub godzinach GPU.RAG (generacja wspomagana odzyskiwaniem)Metoda, która pobiera wiedzę zewnętrzną i przekazuje ją do generowania w momencie wnioskowania.Podatek wyrównawczyDodatkowy koszt czasu, obliczeń lub szybkości produktu wymagany do zwiększenia bezpieczeństwa i kontroli systemów.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Zobacz także

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff