O que é Pena de Repetição?

Uma configuração de decodificação que reduz a probabilidade de tokens proporcionalmente à frequência com que apareceram até o momento.

Uma configuração de decodificação que reduz a probabilidade de aparecimento de tokens, incentivando novos tópicos.

Uma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.

Uma estratégia de geração que restringe tokens de saída a estruturas válidas ou escolhas compatíveis com políticas.

Um método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.