Saltar al contenido ForoHackers

Aprendizaje por refuerzo: por dónde empezar

Aprendizaje por refuerzo
#344 · Ophuscado · · Denunciar

El aprendizaje por refuerzo es aprender a actuar por ensayo y error: un agente realiza acciones en un entorno, recibe recompensas e intenta reunir la mayor recompensa total a lo largo del tiempo. Encaja en juegos, control de robots, planificación y asignación de recursos, donde nadie puede etiquetar la jugada correcta pero sí hay una puntuación. Su dificultad es que las recompensas son escasas, tardías y fáciles de explotar.

Conceptos clave

  • Proceso de decisión de Markov: estados, acciones, probabilidades de transición y recompensas, el marco formal del campo.
  • Política y valor: una política elige acciones; una función de valor estima la recompensa futura de un estado o una acción.
  • Exploración frente a explotación: probar acciones nuevas para aprender, o usar lo que ya funciona.
  • Asignación de crédito: averiguar cuál de muchas acciones pasadas ganó una recompensa tardía.
  • Familias de métodos: basados en valor, de gradiente de política, actor-crítico y basados en modelo, cada uno con sus compromisos.

Vocabulario

  • Episodio: una ejecución desde un estado inicial hasta un final.
  • Factor de descuento: el peso que hace que las recompensas lejanas cuenten menos que las inmediatas.
  • Ecuación de Bellman: la relación recursiva que liga el valor de un estado con el de sus sucesores.
  • On-policy y off-policy: aprender de datos producidos por la política actual, o por otra distinta.
  • Búfer de repetición: experiencia pasada almacenada que se vuelve a muestrear para entrenar.

Qué estudiar, en orden

  1. Probabilidad y algo de programación dinámica; resuelve exactamente un mundo de cuadrícula pequeño con iteración de valores.
  2. Bandidos multibrazo: implementa epsilon-greedy y mide el arrepentimiento.
  3. Q-learning tabular en un entorno sencillo, dibujando los retornos de muchas semillas.
  4. Un método de gradiente de política en una tarea de control estándar; compara ejecuciones y observa la varianza.
  5. Escribe una recompensa que creas correcta, averigua cómo un agente la explota y corrígela.

Etiquetas relacionadas

#machine-learning #optimization #robotics #control-systems #probability

Inicia sesión o únete para responder.