Réseaux de neurones

Abdoulaye Baniré Diallo

6 mai 2009

Réseau de neurones (le principe)

Le neurone artificiel: perceptron tj = seuil de l’unité j

yi = signal d’entrée i

wij = poids du signal yi dans le neuron j

fj = fonction de transfert du neurone j

Frank Rosenblatt (1958)

Fonctions d’activation

Christine Decaestecker, ULB et Marco Saerens, UCL

Pourquoi un réseau de neurones Capacité de déduction d’informations dans des

données imprécises et bruitées

Capacité de déduire des relations qui sont complèxes pour l’humain et d’autres techniques informatiques

Un expert des données avec lesquelles il a été entraîné

Utile pour faire des projections et des suppositions

Pourquoi un réseau de neurones (Caractéristiques) Apprentissage adaptative

Auto-organisation

Opération en temps réel

Tolérance aux fautes

Réseau de neurones vs programmation habituelle Le réseau de neurones peut prendre différentes

approches pour résoudre un problème

Si les étapes spécifiques de résolution du problème ne sont pas connus alors on ne peut utiliser la programmation classique

Le réseau de neurones peut résoudre un problème que l’humain ne sait pas comment le faire

Les deux approches doivent être complémentaires

Réseau de neurones (applications) Reconnaissance de la parole Reconnaissance des formes Prévision météo Prédiction des marchés financiers Évaluation de crédits En médecine et bioinformatique

Modélisation et diagnostic des systèmes cardiovasculaires Médecin instantanné Prédiction des structures protéiques Classification des expressions de gènes…..

Modélisation de la structure protéique PROF - Secondary Structure Prediction System

http://www.aber.ac.uk/~phiwww/prof/

COUDES: Prédiction de beta-turns dans la séquence http://bioserv.rpbs.jussieu.fr/Coudes/COUDES.html

http://www.netasa.org/

GANN :Genetic Algorithm Neural Networks for Regulatory Region Identification http://bioinformatics.org.au/gann/

Oxford Protein Analysis Linker (OPAL)http://www.oppf.ox.ac.uk/bioinformatics.php

Questions Quelles données fournir au réseau? Quel résultat attendre? Comment coder?

Les entrées Les sorties

Structure du réseau Connexions (graphe) Calculs des paramètres Design initial et apprentissage

Comportement diverses

Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses

Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses

Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses

Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses

Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses

Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification

Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification

Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification

Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification

Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification

Fabrice Rossi : http://apiacoa.org/contact.html

Problème de la classification non linéaire (XOR)

Exercice: Trouver la sortie pour (X1 = 1 et X2 = 1) et (X1 = 1 et X2 = 0)

Classification des réseaux

Fabrice Rossi : http://apiacoa.org/contact.html

Réseau de neurones (Architecture)

Réseau de neurones (Architecture)

Christine Decaestecker, ULB et Marco Saerens, UCL

FeedForward Retro propagation

Architecture FeedForward Graphe biparti complet

Le nombre de couches cachées et leurs tailles sont fonction de la complexité du problème

Une des architectures les plus utilisées

Multilayer perceptron

Apprentissage: Retropropagation Apprentissage supervisé1. Initialiser tous les poids entre -1.0 et +1.0 2. Initialiser l’ensemble d’entrée par des valeurs binaires

1. Multiplier les poids qui conduisent à chaque neurone par les valeurs de sortie des neurones précédents

2. Sommer les valeurs3. Donner le résultat à la fonction d’activation4. Répéter jusqu’au perceptron de sortie

3. Comparer le patron de sortie et le comparer au patron désiré et calculer l’erreur associé

4. Changer tous les poids pour tenir compte de l’erreur5. Répéter (2) jusqu’à ce que l’erreur soit 0 pour tous les patrons

de sortie

Critères d’apprentissage Ensemble de données (training/learning set) Sorties désirées dans les problèmes supervisés Critère de performance

Minimiser les moindres carrés (supervisé)

Maximiser un critère de vraisemblance (supervisé)

Méthodes d’optimisation basées sur la descente du gradient

Processus d’apprentissage Recouvrement associatif : apprendre à produire un patron

particulier sur les entrées auto-association: association entre un patron d’entrée et un ensemble

d’états hetero-association: association avec d’autres patrons d’entrée

nearest-neighbour Rappel interpolé

Détection de régularité: apprendre à distinguer les propriétés particulières

Réseau fixe vs Réseau adaptatif

Remarques Bootstrap, validation croisée

Gros et couvrant l’ensemble des résultats attendus Équilibrée (non biaisée) Représentatif de la base de données considérée

!! Overfitting Même validation que les HMM Architectures complexes

Réseaux Radial Basis Functions Réseaux de prototypes

Évaluation : spécificité, sensibilité …

Wisconsin Prognostic Breast Cancer (WPBC) Number of instances: 198 Number of attributes: 34 ID, outcome, 32 real-valued input features 1) ID number 2) Outcome (R = recur, N = nonrecur) 3) Time (recurrence time if field 2 = R, disease-free time if field 2 = N) 4-33) Ten real-valued features are computed for each cell nucleus:

a) radius (mean of distances from center to points on the perimeter) b) texture (standard deviation of gray-scale values) c) perimeter d) area e) smoothness (local variation in radius lengths) f) compactness (perimeter^2 / area - 1.0) g) concavity (severity of concave portions of the contour) h) concave points (number of concave portions of the contour) i) symmetry j) fractal dimension ("coastline approximation" - 1)

34) Tumor size - diameter of the excised tumor in centimeters 35) Lymph node status - number of positive axillary lymph nodes observed at time of surgery

Missing attribute values: Lymph node status is missing in 4 cases. 9. Class distribution: 151 nonrecur, 47 recur

Étude de cas

Sites de liaison pour des facteurs de transcription

Problème Étant donnée la région instigatrice (promoter)

d’un gène (~1000bp) Trouver: Quels sons les facteurs de

transcription qui sont liés dans cette région?