transformadores

La atención calcula cuánta información una posición debe tomar de otras posiciones. En una formulación común, las proyecciones aprendidas producen consultas, claves y valores. Las comparaciones de claves de consulta determinan las ponderaciones utilizadas para combinar valores. Múltiples cabezales de atención permiten varias combinaciones de este tipo dentro de una capa. Una capa de transformador también incluye otras operaciones, como una red de retroalimentación, normalización y conexiones residuales. La información de posición es necesaria porque el orden de las palabras u otros elementos de la secuencia importa. Las implementaciones específicas difieren en cómo representan la posición y organizan estas operaciones. El transformador original de 2017 utilizó un diseño de codificador-decodificador para la traducción. Los modelos posteriores utilizan disposiciones de solo codificador, solo decodificador o codificador-decodificador para diferentes objetivos. Un modelo de lenguaje causal evita que una posición preste atención a tokens futuros durante la predicción del siguiente token. Esa restricción difiere del procesamiento bidireccional de una entrada completa. La atención a secuencias largas puede resultar costosa desde el punto de vista computacional. Los sistemas prácticos utilizan diversas optimizaciones, pero un límite de contexto anunciado no prueba que el modelo utilice cada parte de un documento extenso de manera confiable. Pruebe la recuperación, el razonamiento y el seguimiento de instrucciones en la extensión real que su aplicación necesita.