Modelado de lenguaje
El modelado del lenguaje es la tarea engañosamente simple de predecir qué palabra o token viene a continuación, dado el texto hasta el momento.
Descripción general
This single objective, scaled up massively, is what produces today's powerful chatbots and writing assistants.
Buceo profundo
En esencia, un modelo de lenguaje asigna probabilidades a secuencias de texto. Ante el mensaje "La capital de Francia es", estima la probabilidad de cada posible próximo token, y "París" debería obtener una puntuación alta. Los primeros modelos de lenguaje eran n-gramas estadísticos que simplemente contaban con qué frecuencia aparecían secuencias de palabras, pero tenían problemas con contextos largos y frases invisibles. Los modelos de lenguaje neuronal reemplazaron el conteo con representaciones aprendidas, y la arquitectura transformadora de 2017 permitió que los modelos atendieran largas extensiones de texto de manera eficiente. Los grandes modelos de lenguaje modernos, como la familia GPT, se entrenan en enormes corpus de texto con un objetivo: predecir el siguiente token. Sorprendentemente, hacer esto bien obliga al modelo a absorber gramática, hechos, patrones de razonamiento y estilo, porque predecir un texto con precisión requiere comprenderlo. La generación funciona prediciendo repetidamente el siguiente token y reintroduciéndolo.
Información técnica
La mayoría de los modelos de lenguaje modernos son autorregresivos: factorizan la probabilidad de una oración en un producto de las probabilidades del siguiente token, prediciendo un token a la vez de izquierda a derecha. El entrenamiento minimiza la pérdida de entropía cruzada, lo que recompensa la asignación de alta probabilidad al siguiente token real en el texto de entrenamiento. Esto es autosupervisado, las etiquetas vienen libres del texto mismo, por lo que no se necesita anotación humana. En el momento de la generación, estrategias de muestreo como temperatura, top-k y top-p (núcleo) controlan el equilibrio entre producción predecible y creativa.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro del modelado del lenguaje
La predicción del próximo token ha demostrado ser sorprendentemente poderosa, y las leyes de escalamiento muestran que modelos más grandes y más datos siguen mejorando la capacidad, aunque los avances se están desacelerando y los datos de alta calidad se están volviendo escasos. La frontera se está desplazando hacia el razonamiento, ventanas de contexto más largas y métodos posteriores al entrenamiento, como el aprendizaje por refuerzo a partir de la retroalimentación humana, que dan forma al comportamiento después de que se construye el modelo base. Espere una combinación continua de modelado de lenguaje con herramientas, recuperación y entradas multimodales, mientras que el objetivo fundamental de predecir el siguiente token sigue siendo la base sobre la que se construye todo lo demás.
Implementación en el mundo real
Autocompletar en el teclado de tu teléfono o correo electrónico sugiriendo la siguiente palabra a medida que escribes
Un chatbot como ChatGPT genera una respuesta fluida al predecir repetidamente el siguiente token
Editores de código como GitHub Copilot que predicen la siguiente línea de código a partir del contexto circundante.
Sistemas de reconocimiento de voz que utilizan un modelo de lenguaje para elegir la transcripción más plausible entre opciones de sonido similar
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Language Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Modelado de lenguaje enmascarado
Preguntas frecuentes
What is Language Modeling?
El modelado del lenguaje es la tarea engañosamente simple de predecir qué palabra o token viene a continuación, dado el texto hasta el momento. Este único objetivo, ampliado enormemente, es lo que produce los potentes chatbots y asistentes de escritura de hoy en día.
¿Cuál es la tarea principal que realiza un modelo de lenguaje?
Un modelo de lenguaje estima la probabilidad de lo que sigue en una secuencia, y la generación funciona prediciendo y agregando repetidamente el siguiente token.
¿Cuál fue una limitación clave de los primeros modelos de lenguaje de n-gramas?
Los modelos de N-gramas se basaban en contar secuencias de palabras cortas, por lo que manejaban mal el contexto de largo alcance y fallaban en frases que nunca habían visto.
¿Por qué la formación en modelos de lenguaje se denomina "autosupervisada"?
El siguiente token correcto ya está presente en el texto, por lo que el modelo crea sus propios objetivos sin anotaciones manuales.
¿Qué significa "autoregresivo" para un modelo de lenguaje?
Los modelos autorregresivos generan texto token por token, condicionando cada nueva predicción a todo lo generado hasta el momento.
¿Qué función de pérdida se utiliza normalmente para entrenar un modelo de lenguaje?
El entrenamiento minimiza la entropía cruzada, recompensando al modelo por asignar una alta probabilidad al siguiente token real observado en el texto de entrenamiento.