O que é Penalidade de presença?

Uma configuração de decodificação que reduz a probabilidade de tokens proporcionalmente à frequência com que apareceram até o momento.

Uma configuração de decodificação que reduz a probabilidade de tokens que o modelo já produziu para reduzir loops.

Uma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.

Uma estratégia de geração que restringe tokens de saída a estruturas válidas ou escolhas compatíveis com políticas.

Um método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.

Tensores de chave e valor armazenados de tokens anteriores que permitem que os transformadores gerem novos tokens sem recalcular a atenção anterior.