Université L’ARBI BEN M’HIDIOum El Bouaghi

 

  

Faculté de TechnologieDEPARTEMENT D’ELECTRONIQUE

Modélisation par les réseaux de neurones optimisés par les

algorithmes génétiques

Réalisé par: titi zoubir tebib haiderDirigé par :Mr k LAMAMRA

Introduction générale.

algorithme génétique

réseaux de neurones

Résultats de simulation

Conclusion générale

Introduction

Objectifs du travail présenté

les réseaux de neurones multicouches feedforward sont aujourd'hui modèles les plus employés. Ceci est dû à leurs simplicités et leurs propriétés d'approximation universellesLes Algorithmes Génétiques (AG) sont des techniques d'optimisation stochastiques qui tentent d'imiter les processus d'évolution naturels des espèces et de la génétique Dans ce travail nous proposons d'utiliser les AG pour la construction d'un réseau de neurone afin de modéliser les systèmes dynamiques. Ainsi l'AG doit fournir au réseau de neurone les meilleurs poids de connexion en assurant son apprentissage. Cette technique est appliquée sur le processus de Narand

 

algorithmes génétiques

Les algorithmes génétiques, développés par John Holland puis Goldberg présentent des qualités intéressantes pour la résolution de problèmes combinatoires complexes. Ils sont basés sur la théorie de l'évolution des espèces dans leur milieu naturel, soit une transposition artificielle des concepts basiques de la génétique et des lois de survie énoncées par Darwin.

Mécanismes des algorithmes génétiques

Au fur et à mesure des générations, les chromosomes vont tondre vers l’optimum de la fonction sélective. La création d’une nouvelle population à partir de la précédente se fait par l’application des opérateurs génétiques qui sont : la sélection, le croisement et la mutation. Voici un organigramme représentant le cycle d’évolution d’un algorithme génétique :

les opérateurs génétiques 

La procédure d'évaluation La procédure de sélection La procédure de croisementLa mutation

La procédure d'évaluation Pour l'évaluation de chaque individu, le modèle utilise son codage, exécute la simulation avec l'ordre de lancement des produits correspondant et retourne les valeurs du temps de cycle moyen des produits et du nombre de produits en-cours en fin de campagne

La procédure de sélection que nous avons utilisée est la "roulette biaisée de Goldberg etFonctionne sur le principe

Principes de sélection A l'inverse d'autres techniques d'optimisation, les algorithmes génétiques n'ont pas besoin de connaître la dérivée de la fonction objectif, ce qui rend leur domaine d'application plus vaste.

La procédure de croisementLe croisement a pour but d'enrichir la diversité de la population en manipulant les composantes des individus (chromosomes). Classiquement, les croisements sont envisagés avec deux parents et génèrent deux enfants

La mutation  L'opérateur de mutation apporte aux algorithmes génétiques l'aléa nécessaire à une exploration efficace de l’espace afin de créer un nouvel individu qui n'existait pas auparavantLa probabilité de mutation représente la fréquence à laquelle les gènes d'un chromosome sont mutés. •S'il n'y a pas de mutation, le fils est inséré dans la nouvelle population sans changement. •Si la mutation est appliquée, une partie du chromosome est changée.

réseaux de neurones

Introduction Utilité des RN. Modèle d’un neurone biologique  Modèle d’un neurone artificiel Les propriétés d’un réseau de neurones Conclusion 

Introduction

Les réseaux de neurones sont des modèles mathématiques et informatiques, des assemblages d’unités de calcul appelés neurones formels, et dont l’inspiration originelle était le fonctionnement cérébral de l’être humain. 

Utilité des RN

Les réseaux de neurones, en tant que système capable d'apprendre, mettent en œuvre le principe de l'induction, c'est à dire l'apprentissage par l'expérience. Par confrontation avec des situations ponctuelles, ils infèrent un système de décision intégré dont le caractère générique est fonction du nombre de cas d'apprentissages rencontrés et de leur complexité par rapport à la complexité du problème à résoudre

Modèle d’un neurone

biologique  Cette section décrit un modèle très grossier des neurones biologiques qui servi à la mise en place des premiers neurones formels

Modèle d’un neurone artificiel 

Le neurone formel est une modélisation mathématique qui reprend les principes du fonctionnement du neurone biologique, en particulier la sommation des entrées Modélisation d’un neurone artificielLa modélisation consiste à rassembler les connaissances que l'on a du comportement dynamique du processus, par une analyse physique des phénomènes mis en jeu, et une analyse des données expérimentales. Ces analyses conduisent à la définition des grandeurs caractérisant le processus, c'est-à-dire ses entrées, ses variables d’état et ses sorties

Fonctionnement d’un RN

Le neurone calcule la somme de ses entrées puis cette valeur passe à travers la fonction d'activation pour produire sa sortie. Fonction d’activation La fonction d’activation (ou fonction de seuillage, ou encore fonction de transfert) sert à introduire une non linéarité dans le fonctionnement du neurone. Les fonctions de seuillage présentent généralement trois intervalles :en dessous du seuil, le neurone est non actif (souvent dans ce cas, sa sortie vaut 0 ou -1) ; aux alentours du seuil, une phase de transition ; au-dessus du seuil, le neurone est actif (souvent dans ce cas, sa sortie vaut 1).

 Les propriétés d’un réseau de neurones

La propriété d’approximation universelle La propriété d’approximation universelle a été démontrée par [Cybenko, 1989] et [Funahashi, 1989] et peut s’énoncer de la façon suivant:Toute fonction bornée suffisamment régulière peut être approchée uniformément, avec une précision arbitraire, dans un domaine fini de l’espace de ses variables, par un réseau de neurones comportant une couche de neurones cachées en nombre fini, possédant tous la même fonction d’activation, et un neurone de sortie linéaire.

La propriété de parcimonieLorsqu’on cherche à modéliser un processus à partir des données, on s’efforce toujours d’obtenir les résultats les plus satisfaisants possibles avec un nombre minimum de paramètres ajustables

Conclusion :

nous avons exposé les réseaux de neurones, en spécifiant leurs définitions, les concepts de base de cette technique, l’apprentissage des réseaux de neurones, et ses différents domaines d’utilisation

Résultats de simulation

 Les études sur les réseaux neurones artificiels et les algorithmes génétiques se sont développées en parallèle et ont souvent été en interaction durant cette

dernière décennie

 

Nombre de neurones de la    couche 

cachée (Nncc)L’erreur cumulée

ec

2 1.6211

3 0.9233

4 0.1019

5 0.0068

6 0.0495

7 0.0922

8 0.0751

9 0.1225

10 0.1398

Tableau III.2 : Résultats de simulation 

Cas 1 : Entraînement par un réseau à deux entrées 

Dans ce cas les entrées du réseau de neurones sont la commande du processus u et la sortie désirée yp.

D'après les résultats obtenus, nous remarquons que la meilleure structure est celle de 0.0068. Ces résultats sont satisfaisants comme on peut le constater sur les figures ci-dessous, qui représentent la sortie réelle du réseau de neurone et la sortie désirée (du système) (figure III.2), l'erreur instantanée (figure III.3) et la commande du système (figure III.4).où le nombre de neurones de la couche cachée est égale à 5 ce qui correspond à une erreur quadratique cumulée

La Sortie réelle et la sortie désirée

L'erreur instantanée

La commande

Nombre de neurones de la couche cachée (Nncc)L’erreur cumulée

ec

2 0.1392

3 0.0223

4 0.0042

5 0.0315

6 0.0240

7 0.0471

8 0.2926

9 0.0907

10 0.0121

Cas 2 : Entraînement par un réseau à trois entréesDans ce cas les entrées du réseau de neurones sont la commande du processus u et la sortie désirée yp et

l’erreur quadratique instantanée e.

Dans ce cas et d'après les résultats du tableau III.3, nous remarquons que la meilleure structure est celle où le nombre de neurones de la couche cachée est égale à 4 ce qui correspond à une erreur quadratique cumulée de 0.0042. Ces résultats sont meilleurs que celle du premier cas. les figures ci-dessous, représentent la sortie réelle du réseau de neurone et la sortie désirée (du système) (figure III.5), l'erreur instantanée (figure III.6) et la commande du système (figure III.7).

La Sortie réelle et la sortie désirée

L'erreur instantanée

La commande u(t)

Conclusion

D'après ces résultats, nous remarquons que l'algorithme génétique a donnée des structures meilleures pour les réseaux de neurone à trois entrées que celui à deux entrées. Nous pensons que cela est du au fait que l’introduction de l’erreur dans le réseau lui donne la possibilité de se corriger mieux que s’il n’a aucune information sur l’erreur

Tout comportement d’un système biologique par rapport à plusieurs échelles temporelles peut être interprété dans un contexte de type système dynamique en utilisant les outils de l’automatique.Pour ces applications, la modélisation et l’identification de systèmes dynamiques sont nécessaires. Parmi les techniques utilisées dans ce sens on peut citer: les algorithmes génétiques qui sont des algorithmes destinés principalement à l’exploration et l’optimisation. Ils sont inspirés de la génétique naturelle, et les réseaux de neurones artificiels qui sont à l’origine d’une tentative de modélisation du cerveau humain

Dans ce travail, nous avons introduit l’application des algorithmes génétiques pour l’apprentissage des réseaux de neurones dans le but de modéliser les systèmes dynamiques. Nous avons appliqué cette méthode sur le processus de NerrandLes résultats de simulation obtenus

montrent que les AG sont des outils d’optimisation performants qui

permettent de réaliser une exploration globale de l’espace, contrairement aux

méthodes déterministes classique