What is Inference-Time Compute? Definition | AI Understanding

Визначення

Кількість обчислювальної потужності, спожитої під час створення кожної відповіді.

Споріднені терміни

Обчислення тестового часу

Додаткове обчислення логічного висновку, яке використовується під час генерації відповіді для покращення якості чи аргументації.

Оплата на основі використання

Ціноутворення, де витрати масштабуються з викликами API, маркерами, часом висновку або споживаними обчисленнями.

Дистильована модель

Менша модель, навчена імітувати поведінку більшої моделі, використовуючи менше обчислень для висновку.

Обчислити

Ресурси обробки, необхідні для навчання та запуску моделей, часто вимірюються в FLOPS або годинах GPU.

RAG (генерація з доповненим пошуком)

Метод, який отримує зовнішні знання та передає їх у генерацію під час висновку.

Податок на вирівнювання

Додаткові витрати на час, обчислення або швидкість продукту, необхідні для того, щоб зробити системи безпечнішими та керованими.

Дізнайтеся більше в наших безкоштовних посібниках

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

See also

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту