Entrenar una red neuronal con aprendizaje de refuerzo

Question

Conozco los conceptos básicos de las redes neuronales feedforward, y cómo entrenarlos usando el algoritmo backpropagation, pero estoy buscando un algoritmo que pueda usar para entrenar una ANN en línea con el aprendizaje de refuerzo.

Por ejemplo, el problema cart pole swing up es uno que me gustaría resolver con una ANN. En ese caso, no sé qué se debe hacer para controlar el péndulo, solo sé lo cerca que estoy de la posición ideal. Necesito que el ANN aprenda basado en la recompensa y el castigo. Por lo tanto, el aprendizaje supervisado no es una opción.

Otra situación es algo así como snake game, donde los comentarios se retrasan y se limitan a los objetivos y a los objetivos, en lugar de a la recompensa.

Puedo pensar en algunos algoritmos para la primera situación, como escalar montañas o algoritmos genéticos, pero supongo que ambos serían lentos. También podrían ser aplicables en el segundo escenario, pero increíblemente lento y no conducen al aprendizaje en línea.

Mi pregunta es simple: ¿Existe un algoritmo simple para el entrenamiento de una red neuronal artificial con refuerzo de aprendizaje? Principalmente estoy interesado en situaciones de recompensa en tiempo real, pero si hay disponible un algoritmo para situaciones basadas en objetivos, aún mejor.

Answer 1

Hay algunos trabajos de investigación sobre el tema:

• Efficient Reinforcement Learning Through Evolving Neural Network Topologies (2002)
• Reinforcement Learning Using Neural Networks, with Applications to Motor Control
• Reinforcement Learning Neural Network To The Problem Of Autonomous Mobile Robot Obstacle Avoidance

y algo de código:

• Code examples para el aprendizaje de refuerzo de redes neuronales.

Estos son solo algunos de los principales resultados de búsqueda de Google sobre el tema. Los primeros dos documentos parecen bastante buenos, aunque no los he leído personalmente. Creo que encontrará aún más información sobre redes neuronales con refuerzo de aprendizaje si hace una búsqueda rápida en Google Scholar.

Answer 2

Si la salida que conduce a una recompensa r se vuelve a propagar en la red r veces, reforzará la red proporcionalmente a la recompensa. Esto no es directamente aplicable a las recompensas negativas, pero puedo pensar en dos soluciones que producirán diferentes efectos:

1) Si tiene un conjunto de recompensas en un rango rmin-rmax, vuelva a escalarlas a 0-(rmax-rmin) para que estén todo no es negativo Cuanto mayor es la recompensa, más fuerte es el refuerzo que se crea.

2) Para una recompensa negativa -r, vuelva a propagar una salida aleatoria r veces, siempre que sea diferente de la que dio lugar a la recompensa negativa. Esto no solo reforzará los resultados deseables, sino que también difundirá o evitará los malos resultados.