Modelado de lenguaje

El modelado del lenguaje se refiere a las probabilidades de secuencias de texto. En una formulación autorregresiva, cada distribución del siguiente token está condicionada a los tokens anteriores, y la probabilidad de un prefijo específico es el producto de sus probabilidades de token condicionales. Un prefijo ilustrativo de dos tokens tiene una probabilidad de la mitad para su primer token y de un quinto para su segundo token, dado el primero. Su probabilidad de prefijo conjunto es una décima parte. Este cálculo se refiere al prefijo indicado y no agrega un evento de fin de secuencia no declarado. Los modelos de N-gramas se aproximan al contexto con una historia corta fija y estiman las probabilidades de continuación a partir de los recuentos. Sin una suavización adecuada, las continuaciones invisibles pueden tener una probabilidad cero; el suavizado puede cambiar ese comportamiento, por lo que la novedad no es garantía de que todos los sistemas de n-gramas fallen. Los modelos neuronales utilizan representaciones aprendidas y pueden proporcionar una distribución diferente que depende del contexto. La atención del decodificador del transformador utiliza enmascaramiento para evitar el acceso a posiciones objetivo posteriores en la configuración de entrenamiento autorregresivo indicada. El siguiente objetivo de entrenamiento del token ya está presente en el texto observado, lo que proporciona una tarea de predicción autosupervisada. Durante el entrenamiento forzado por el profesor, el prefijo de un objetivo proviene de la secuencia de entrenamiento observada. Durante la generación autorregresiva, los tokens de salida seleccionados se agregan y se utilizan como contexto para predicciones posteriores. Se trata de diferentes fuentes de contexto incluso cuando utilizan el mismo modelo aprendido. Recompensas de entropía cruzada o de probabilidad logarítmica negativa que asignan probabilidad a los tokens objetivo observados. Luego, la configuración de muestreo afecta la forma en que se selecciona una continuación a partir de las puntuaciones del modelo. La temperatura cambia la escala de una distribución y el muestreo de núcleos selecciona un subconjunto de masa de probabilidad. Los cambios en la selección pueden afectar la variedad de resultados sin certificar la factibilidad, la seguridad o el razonamiento útil.