El aprendizaje por refuerzo es aprender a actuar por ensayo y error: un agente realiza acciones en un entorno, recibe recompensas e intenta reunir la mayor recompensa total a lo largo del tiempo. Encaja en juegos, control de robots, planificación y asignación de recursos, donde nadie puede etiquetar la jugada correcta pero sí hay una puntuación. Su dificultad es que las recompensas son escasas, tardías y fáciles de explotar.
Conceptos clave
- Proceso de decisión de Markov: estados, acciones, probabilidades de transición y recompensas, el marco formal del campo.
- Política y valor: una política elige acciones; una función de valor estima la recompensa futura de un estado o una acción.
- Exploración frente a explotación: probar acciones nuevas para aprender, o usar lo que ya funciona.
- Asignación de crédito: averiguar cuál de muchas acciones pasadas ganó una recompensa tardía.
- Familias de métodos: basados en valor, de gradiente de política, actor-crítico y basados en modelo, cada uno con sus compromisos.
Vocabulario
- Episodio: una ejecución desde un estado inicial hasta un final.
- Factor de descuento: el peso que hace que las recompensas lejanas cuenten menos que las inmediatas.
- Ecuación de Bellman: la relación recursiva que liga el valor de un estado con el de sus sucesores.
- On-policy y off-policy: aprender de datos producidos por la política actual, o por otra distinta.
- Búfer de repetición: experiencia pasada almacenada que se vuelve a muestrear para entrenar.
Qué estudiar, en orden
- Probabilidad y algo de programación dinámica; resuelve exactamente un mundo de cuadrícula pequeño con iteración de valores.
- Bandidos multibrazo: implementa epsilon-greedy y mide el arrepentimiento.
- Q-learning tabular en un entorno sencillo, dibujando los retornos de muchas semillas.
- Un método de gradiente de política en una tarea de control estándar; compara ejecuciones y observa la varianza.
- Escribe una recompensa que creas correcta, averigua cómo un agente la explota y corrígela.
Etiquetas relacionadas
#machine-learning #optimization #robotics #control-systems #probability