Travail réalisé

• Implémentation d'un gestionnaire d'environnement adapté aux besoins de l'étude.
  • Représentation du graphe avec des noeuds et des arêtes aléatoires.
  • Définition des coordonnées en 2 dimensions pour les noeuds.
  • Attribution de poids aux arêtes (représentant le temps de parcours estimé).
  • Génération aléatoire du graphe en minimisant les croisements d'arêtes.
  • Normalisation des coordonnées des noeuds selon l'approche Z-Score normalization.
  • Mise en place d'une méthode pour déterminer aléatoirement un nouveau trajet optimal à chaque épisode.


• Conception et mise en œuvre d'un algorithme d'apprentissage par renforcement adapté au problème.
  • Adaptation de l'algorithme de la littérature pour une utilisation asynchrone de n-step Q-Learning.
  • Synchronisation des modèles behavior et target globaux à chaque n-step.
  • Parcours du graphe par chaque thread et accumulation des erreurs selon les valeurs retournées par les modèles.
  • Mise à jour des paramètres de l'algorithmes.


• Test et évaluation de l'algorithme proposé sur différents paramètres et tailles de trajectoires optimales.
  • Définition des paramètres d'entraînement, notamment les architectures de réseaux de neurones, les optimiseurs,...
  • Entraînement du modèle sur un graphe de 20 noeuds avec des itérations sur 8 threads.
  • Test de plusieurs fonctions de récompense et analyse de leurs impacts sur les résultats.
  • Évaluation des performances de l'algorithme en fonction de la taille des trajets et comparaison avec d'autres méthodes telles que Dijkstra.