Skip to the content ForoHackers
Log inJoin

Aprendizaje por refuerzo: por dónde empezar

Reinforcement learning
#2850 · · Quote · Report

El aprendizaje por refuerzo es aprender a actuar por ensayo y error: un agente realiza acciones en un entorno, recibe recompensas e intenta reunir la mayor recompensa total a lo largo del tiempo. Encaja en juegos, control de robots, planificación y asignación de recursos, donde nadie puede etiquetar la jugada correcta pero sí hay una puntuación. Su dificultad es que las recompensas son escasas, tardías y fáciles de explotar.

Conceptos clave

  • Proceso de decisión de Markov: estados, acciones, probabilidades de transición y recompensas, el marco formal del campo.
  • Política y valor: una política elige acciones; una función de valor estima la recompensa futura de un estado o una acción.
  • Exploración frente a explotación: probar acciones nuevas para aprender, o usar lo que ya funciona.
  • Asignación de crédito: averiguar cuál de muchas acciones pasadas ganó una recompensa tardía.
  • Familias de métodos: basados en valor, de gradiente de política, actor-crítico y basados en modelo, cada uno con sus compromisos.

Vocabulario

  • Episodio: una ejecución desde un estado inicial hasta un final.
  • Factor de descuento: el peso que hace que las recompensas lejanas cuenten menos que las inmediatas.
  • Ecuación de Bellman: la relación recursiva que liga el valor de un estado con el de sus sucesores.
  • On-policy y off-policy: aprender de datos producidos por la política actual, o por otra distinta.
  • Búfer de repetición: experiencia pasada almacenada que se vuelve a muestrear para entrenar.

Qué estudiar, en orden

  1. Probabilidad y algo de programación dinámica; resuelve exactamente un mundo de cuadrícula pequeño con iteración de valores.
  2. Bandidos multibrazo: implementa epsilon-greedy y mide el arrepentimiento.
  3. Q-learning tabular en un entorno sencillo, dibujando los retornos de muchas semillas.
  4. Un método de gradiente de política en una tarea de control estándar; compara ejecuciones y observa la varianza.
  5. Escribe una recompensa que creas correcta, averigua cómo un agente la explota y corrígela.

Etiquetas relacionadas

#machine-learning #optimization #robotics #control-systems #probability

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply