Biblioteca Q-Learning para desenvolvimento de simulações com agentes na plataforma Netlogo

Abstract

Este trabalho apresenta uma extensão para a plataforma NetLogo que possibilita aos desenvolvedores de simulações com agentes incorporarem o comportamento de aprendizagem por reforço Q-Learning. A extensão incorporou novos comandos ao NetLogo para que o desenvolvedor possa facilmente especificar os seguintes elementos de aprendizagem por reforço: estados, ações, recompensa, seleção de ações, cláusula de fim de episódio, reinício de episódio, taxa de aprendizagem e fator de desconto. Além disto, a extensão fornece comandos para ativar o algoritmo de aprendizagem Q-Learning. A partir da extensão criada, os desenvolvedores não precisam se preocupar em implementar estruturas de dados para os elementos de aprendizagem e nem o algoritmo Q-Learning, facilitando o desenvolvimento de simulações. A corretude da implementação da extensão foi verificada através desenvolvimento do cenário clássico de aprendizagem cliff walking. Neste cenário, a simulação desenvolvida com a extensão encontrou a política ótima, evidenciando a corretude da sua implementação. Para verificar a complexidade de uso da extensão, foi realizada uma comparação das características do código de uma simulação que utiliza a extensão com uma simulação implementada sem a extensão. A partir desta comparação foi possivel observar que o código de uma simulação que utilize a extensão é menos complexo. A extensão desenvolvida está disponível para uso da comunidade através do extension manager do NetLogo, juntamente com documentação e exemplo de utilização.