O que é Janela de contexto?

O processo de divisão de texto em tokens para entrada do modelo.

Uma mudança nos dados de entrada do mundo real ao longo do tempo que pode degradar o desempenho do modelo.

Um modelo que pode processar ou gerar vários tipos de dados, como texto, imagem e áudio.

Uma métrica de modelo de linguagem que mede o quão surpreso o modelo fica com os próximos tokens verdadeiros.

As instruções de entrada e o contexto fornecidos a um modelo generativo.

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.