Saltar al contenido ForoHackers

Aprendizaje por refuerzo: por dónde empezar

Aprendizaje por refuerzo
#2850 · · Citar · Denunciar

El aprendizaje por refuerzo es aprender a actuar por ensayo y error: un agente realiza acciones en un entorno, recibe recompensas e intenta reunir la mayor recompensa total a lo largo del tiempo. Encaja en juegos, control de robots, planificación y asignación de recursos, donde nadie puede etiquetar la jugada correcta pero sí hay una puntuación. Su dificultad es que las recompensas son escasas, tardías y fáciles de explotar.

Conceptos clave

  • Proceso de decisión de Markov: estados, acciones, probabilidades de transición y recompensas, el marco formal del campo.
  • Política y valor: una política elige acciones; una función de valor estima la recompensa futura de un estado o una acción.
  • Exploración frente a explotación: probar acciones nuevas para aprender, o usar lo que ya funciona.
  • Asignación de crédito: averiguar cuál de muchas acciones pasadas ganó una recompensa tardía.
  • Familias de métodos: basados en valor, de gradiente de política, actor-crítico y basados en modelo, cada uno con sus compromisos.

Vocabulario

  • Episodio: una ejecución desde un estado inicial hasta un final.
  • Factor de descuento: el peso que hace que las recompensas lejanas cuenten menos que las inmediatas.
  • Ecuación de Bellman: la relación recursiva que liga el valor de un estado con el de sus sucesores.
  • On-policy y off-policy: aprender de datos producidos por la política actual, o por otra distinta.
  • Búfer de repetición: experiencia pasada almacenada que se vuelve a muestrear para entrenar.

Qué estudiar, en orden

  1. Probabilidad y algo de programación dinámica; resuelve exactamente un mundo de cuadrícula pequeño con iteración de valores.
  2. Bandidos multibrazo: implementa epsilon-greedy y mide el arrepentimiento.
  3. Q-learning tabular en un entorno sencillo, dibujando los retornos de muchas semillas.
  4. Un método de gradiente de política en una tarea de control estándar; compara ejecuciones y observa la varianza.
  5. Escribe una recompensa que creas correcta, averigua cómo un agente la explota y corrígela.

Etiquetas relacionadas

#machine-learning #optimization #robotics #control-systems #probability

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder