What is Inference-Time Compute? Definition | AI Understanding

Определение

Количеството процесорна мощност, изразходвана при генериране на всеки отговор.

Свързани термини

Изчисляване на тестово време

Допълнителни изчисления за изводи, използвани по време на генериране на отговор за подобряване на качеството или разсъжденията.

Таксуване въз основа на употребата

Ценообразуване, при което разходите се мащабират с извиквания на API, токени, време за извод или изразходвани изчисления.

Дестилиран модел

По-малък модел, обучен да имитира поведението на по-голям модел, като същевременно използва по-малко изчисления при извод.

Изчислете

Ресурсите за обработка, необходими за обучение и изпълнение на модели, често измервани във FLOPS или GPU часове.

RAG (генериране с допълнено извличане)

Метод, който извлича външно знание и го захранва за генериране по време на извод.

Данък за привеждане в съответствие

Допълнителните разходи във времето, изчисленията или скоростта на продукта, необходими, за да направят системите по-безопасни и по-контролируеми.

Научете повече в нашите безплатни ръководства

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

See also

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI