O que é Amostragem Top-k?

Uma estratégia de decodificação que faz amostras do menor conjunto de tokens cujas probabilidades somam p.

Uma estratégia de geração que restringe tokens de saída a estruturas válidas ou escolhas compatíveis com políticas.

Aprender ou adaptar comportamento a partir de apenas um pequeno número de exemplos.

Uma métrica de modelo de linguagem que mede o quão surpreso o modelo fica com os próximos tokens verdadeiros.

Um método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.

Tensores de chave e valor armazenados de tokens anteriores que permitem que os transformadores gerem novos tokens sem recalcular a atenção anterior.