Transformadores

A atenção calcula quanta informação uma posição deve obter de outras posições. Numa formulação comum, as projeções aprendidas produzem consultas, chaves e valores. As comparações de chaves de consulta determinam os pesos usados ​​para combinar valores. Múltiplas cabeças de atenção permitem várias dessas combinações dentro de uma camada. Uma camada de transformador também inclui outras operações, como rede feed-forward, normalização e conexões residuais. As informações de posição são necessárias porque a ordem das palavras ou de outros elementos da sequência é importante. Implementações específicas diferem na forma como representam a posição e organizam essas operações. O transformador original de 2017 usava um design codificador-decodificador para tradução. Modelos posteriores usam arranjos somente codificador, somente decodificador ou codificador-decodificador para objetivos diferentes. Um modelo de linguagem causal evita que uma posição atenda a tokens futuros durante a previsão do próximo token. Essa restrição difere do processamento bidirecional de uma entrada completa. A atenção em sequências longas pode ser computacionalmente cara. Os sistemas práticos utilizam otimizações variadas, mas um limite de contexto anunciado não prova que o modelo utiliza todas as partes de um documento longo de forma confiável. Teste a recuperação, o raciocínio e o acompanhamento de instruções na extensão real que sua aplicação precisa.