Глоссарий терминов искусственного интеллекта

Что такое Спекулятивное декодирование?

Определение

Метод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Биллинг на основе использованияЦены, при которых затраты масштабируются в зависимости от вызовов API, токенов, времени вывода или потребляемых вычислительных ресурсов.Раздвижное окно ВниманиеСхема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.ВыводФаза выполнения, на которой обученная модель генерирует прогнозы или выходные данные.RAG (генерация с расширенным поиском)Метод, который извлекает внешние знания и вводит их в генерацию во время вывода.Топ-k выборкаСтратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.Дистиллированная модельМеньшая модель обучена имитировать поведение более крупной модели, используя при этом меньше вычислений.

Узнайте больше в наших бесплатных руководствах.

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

См. также

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output