O que é RoPE (incorporação posicional rotativa)?

Informações adicionadas aos embeddings de tokens para que os transformadores possam distinguir a ordem da sequência.

Um método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.

Um método de recuperação que gera diversas variantes de consulta, recupera resultados para cada uma e funde as classificações.

Algoritmos que encontram vetores próximos a uma consulta sem comparação exaustiva, trocando exatidão por velocidade.

Um método que recupera conhecimento externo e o alimenta na geração no momento da inferência.

Um método de treinamento que usa sinais de preferência humana para moldar o comportamento do modelo.