Termo do glossário de IA

O que é RoPE (incorporação posicional rotativa)?

Definição

Um método de codificação posicional que gira vetores de consulta e chave para codificar posições relativas de token.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

Codificação posicionalInformações adicionadas aos embeddings de tokens para que os transformadores possam distinguir a ordem da sequência.ÁlibiUm método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.RAG-FusionUm método de recuperação que gera diversas variantes de consulta, recupera resultados para cada uma e funde as classificações.ANN (vizinho mais próximo aproximado)Algoritmos que encontram vetores próximos a uma consulta sem comparação exaustiva, trocando exatidão por velocidade.RAG (geração aumentada de recuperação)Um método que recupera conhecimento externo e o alimenta na geração no momento da inferência.Aprendizagem por Reforço com Feedback Humano (RLHF)Um método de treinamento que usa sinais de preferência humana para moldar o comportamento do modelo.

Saiba mais em nossos guias gratuitos

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Veja também

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts