What is Inference-Time Compute? Definition | AI Understanding

Определение

Количество вычислительной мощности, потребляемой при создании каждого ответа.

Связанные термины

Вычисление во время тестирования

Дополнительные вычисления вывода, используемые во время формирования ответа для улучшения качества или рассуждения.

Биллинг на основе использования

Цены, при которых затраты масштабируются в зависимости от вызовов API, токенов, времени вывода или потребляемых вычислительных ресурсов.

Дистиллированная модель

Меньшая модель обучена имитировать поведение более крупной модели, используя при этом меньше вычислений.

Вычислить

Ресурсы обработки, необходимые для обучения и запуска моделей, часто измеряются в FLOPS или часах графического процессора.

RAG (генерация с расширенным поиском)

Метод, который извлекает внешние знания и вводит их в генерацию во время вывода.

Налог на согласование

Дополнительные затраты времени, вычислений или скорости продукта, необходимые для того, чтобы сделать системы более безопасными и управляемыми.

Узнайте больше в наших бесплатных руководствах.

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

См. также

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту