Глоссарий терминов искусственного интеллекта

Что такое Топ-k выборка?

Определение

Стратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Выборка Top-p (ядра)Стратегия декодирования, которая производит выборку из наименьшего набора токенов, сумма вероятностей которых равна p.Защищенное декодированиеСтратегия генерации, которая ограничивает выходные токены допустимыми структурами или вариантами, совместимыми с политикой.Обучение в несколько этаповОбучение или адаптация поведения лишь на небольшом количестве примеров.PerplexityМетрика языковой модели, измеряющая, насколько модель удивлена ​​истинными следующими токенами.Спекулятивное декодированиеМетод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.КВ-кэшСохраненные тензоры ключей и значений из предыдущих токенов, которые позволяют преобразователям генерировать новые токены без повторного вычисления прошлого внимания.

Узнайте больше в наших бесплатных руководствах.

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

См. также

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt