A continuaciónSiguiente guía
Modelos Zhipu GLM
Empresas
GUÍA de empresas
AlphaGo y AlphaZero
AlphaGo combinó redes neuronales con búsqueda de árbol de Monte Carlo para jugar al Go.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
AlphaZero utilizó el autoaprendizaje con reglas de juego dadas en Go, ajedrez y shogi, mientras que MuZero aprendió un modelo suficiente para la planificación sin que se le proporcionara la dinámica del entorno.
Buceo profundo
El Go es difícil para la búsqueda de fuerza bruta debido a su gran espacio de búsqueda y al desafío de evaluar las posiciones. AlphaGo combina una red de políticas, que sugiere movimientos prometedores, y una red de valores, que evalúa las posiciones del tablero, con la búsqueda de árbol de Monte Carlo. Su artículo original en Nature describe el aprendizaje supervisado a partir de partidas de expertos humanos seguido de un aprendizaje por refuerzo a partir del autoaprendizaje. AlphaZero generaliza el aprendizaje por refuerzo mediante autoaprendizaje al Go, el ajedrez y el shogi; comienza desde un juego aleatorio y utiliza las reglas del juego sin ejemplos de partidas humanas. El artículo de AlphaZero informa sobre un juego sobrehumano en los juegos probados, incluyendo alcanzar ese nivel en ajedrez y shogi en 24 horas de entrenamiento. MuZero es diferente: aprende un modelo latente de recompensas y transiciones de estado suficiente para la planificación, sin que se le proporcionen las reglas del juego ni la dinámica completa. Estos son resultados de investigación en juegos, no evidencia de que el mismo rendimiento se transfiera a tareas de planificación arbitrarias.
Implementación en el mundo real
Compara el aprendizaje supervisado de AlphaGo a partir de partidas de expertos con el aprendizaje por refuerzo a partir del autoaprendizaje.
Utiliza los experimentos de AlphaZero para estudiar la búsqueda y el autoaprendizaje bajo reglas de juego conocidas.
Inspecciona cómo una política previa y una estimación de valor pueden guiar la búsqueda de árbol de Monte Carlo.
Compara el modelo de planificación aprendido de MuZero con sistemas que reciben reglas de juego explícitas.
El futuro de AlphaGo y AlphaZero
AlphaGo, AlphaZero y MuZero muestran diferentes formas de combinar la evaluación aprendida con la búsqueda en juegos estructurados. Aplicar estos métodos a otros dominios requiere definir acciones, recompensas, restricciones y un entorno de evaluación; los resultados de los juegos por sí solos no establecen el rendimiento en robótica, matemáticas o tareas lingüísticas.
Poniéndolo en práctica
Por qué es importante
- Estrategia del proveedor. Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
- Costo y presupuesto. Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
- Riesgo y seguridad. Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
cuidado con
- Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
- Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
- La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Próximos pasos
- Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
- Revise los términos legales, de seguridad y de privacidad antes de la integración.
- Mantenga un plan alternativo entre modelos o proveedores.
- Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Realiza el cuestionario de AlphaGo y AlphaZero
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es AlphaGo y AlphaZero?
AlphaGo combinó redes neuronales con búsqueda de árbol de Monte Carlo para jugar al Go. AlphaZero utilizó el autoaprendizaje con reglas de juego dadas en Go, ajedrez y shogi, mientras que MuZero aprendió un modelo suficiente para la planificación sin que se le proporcionara la dinámica del entorno.
¿Por qué el juego Go se consideró especialmente difícil para las computadoras?
El enorme factor de ramificación del Go hace que la búsqueda por fuerza bruta sea inviable, por lo que el éxito requería una intuición aprendida.
¿A quién derrotó AlphaGo 4-1 en 2016?
AlphaGo venció al máximo campeón de Go, Lee Sedol, 4-1 en un partido de 2016 ampliamente visto.
¿Qué tres juegos evaluó el artículo de AlphaZero?
El artículo de AlphaZero evalúa su algoritmo general de aprendizaje por refuerzo en Go, ajedrez y shogi. Sus resultados son específicos para esos juegos y experimentos.
¿Qué método de búsqueda empareja AlphaZero con su red neuronal?
AlphaZero utiliza Monte Carlo Tree Search guiado por la política de una red neuronal y predicciones de valores.
¿Qué dos cosas predice la red neuronal de AlphaZero para guiar su búsqueda?
Las salidas de la red en las que se mueve parecen prometedoras (política) y una estimación de quién ganará (valor), centrando la búsqueda.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.