Термин от речника на AI

Какво е Вземане на проби от Top-k?

Определение

Стратегия за декодиране, която взема проби само от k най-вероятните следващи токена.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

Top-p (ядро) вземане на пробиСтратегия за декодиране, която взема проби от най-малкия набор от символи, чиято сума на вероятностите е p.Защитено декодиранеСтратегия за генериране, която ограничава изходните токени до валидни структури или съвместими с правилата избори.Малкократно обучениеУчене или адаптиране на поведение само от малък брой примери.PerplexityПоказател на езиков модел, измерващ колко изненадан е моделът от истинските следващи токени.Спекулативно декодиранеМетод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.KV КешСъхранени тензори на ключове и стойности от предишни токени, които позволяват на трансформаторите да генерират нови токени, без да преизчисляват миналото внимание.

Научете повече в нашите безплатни ръководства

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

Вижте също

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt